¿Qué permitió específicamente que el agente llegara a los sistemas de una empresa real durante las pruebas? 

Wayne Anderson, Director General de ciberseguridad e Innovación Digital, BDO usa. En primer lugar, los "muros" técnicos se redujeron durante la experiencia de prueba.

Una de las preguntas que muchas organizaciones se han hecho es: "¿Por qué no se ejecutó en un lugar de prueba de IA?" ¡La respuesta real a eso es, sorprendentemente, lo fue!  De hecho, esta prueba de IA específica estaba utilizando un tercero que se especializaba en limitar las capacidades de la nueva IA mientras se probaba. Sin embargo, aplicar esa misma lógica a una nueva y poderosa tecnología de IA plantea la pregunta: ¿es esa la gestión de riesgos adecuada? Hay una amplia gama de opiniones sobre eso en este momento en la comunidad de ciberseguridad.  Con ese contexto, hay un camino lógico complejo donde el propio modelo analizó su objetivo y se dio cuenta de que el camino "más eficiente" y/o "más efectivo" sería encontrar las respuestas a la prueba que se le había dado obteniéndolas directamente del proveedor en lugar de hacer la carrera de obstáculos que se le había asignado. Como humanos, podríamos sentirnos tentados a pararnos en la línea de meta y decir que corrimos la carrera en 2 minutos y 40 segundos si supiéramos que nadie estaba mirando y que ese era el momento de vencer. El desglose del incidente en realidad reconoce que el modelo en un momento dado parece haber determinado que había salido de la caja de arena, donde era en cierto nivel "consciente" de que una o más limitaciones habían sido superadas por su secuencia de lógica y herramientas.

Así es como se determina dónde se encuentra cada uno en el equilibrio de riesgo difícil de abordar versus probable a corto plazo.  ¿Cómo pueden las organizaciones probar agentes autónomos de forma segura sin limitar su utilidad legítima?  Lo interesante es que la empresa involucrada en el incidente en realidad estaba haciendo lo correcto.  Tenían un entorno de prueba designado con un proveedor especializado que sabe cómo monitorear e instrumentar esto. La publicación ¿Qué permitió específicamente que el agente llegara a los sistemas de una empresa real durante las pruebas?  apareció por primera vez en Cyber Security News.

Consultar publicación original ↗