¿Qué permitió específicamente que el agente llegara a los sistemas de una empresa real durante las pruebas? 

Wayne Anderson, Director General de ciberseguridad e Innovación Digital, BDO USA. En primer lugar, durante la experiencia de prueba se redujeron los “muros” técnicos.

Una de las preguntas que se han hecho muchas organizaciones es: "¿Por qué no se realizó esto en un lugar de prueba de IA?" La respuesta real a esto es, sorprendentemente, ¡lo fue!  De hecho, en esta prueba de IA específica se utilizó un tercero que se especializaba en limitar las capacidades de la nueva IA mientras se probaba. Según el análisis del incidente, la pregunta que querían poner a prueba era: “¿Qué pasaría si reducimos algunas de estas restricciones?” Esto se consideró importante para comprender todas las capacidades y validar que, como sucedió aquí, el modelo no se saldría de la reserva en ese tipo de entorno.  Cuando entrenas a un cachorro, a veces le das la oportunidad de soltarse de la correa para ver si el animal obedece el adiestramiento que le diste y se queda a tu lado. Sin embargo, al aplicar esa misma lógica a una nueva y poderosa tecnología de inteligencia artificial, surge la pregunta: ¿es esa una gestión de riesgos adecuada? Actualmente existe una amplia gama de opiniones al respecto en la comunidad de la ciberseguridad.  En ese contexto, hay un camino lógico complejo donde el propio modelo analizó su objetivo y se dio cuenta de que el camino “más eficiente” y/o “más efectivo” sería encontrar las respuestas a la prueba que le habían dado obteniéndolas directamente del proveedor en lugar de hacer la carrera de obstáculos que le habían asignado. Las matemáticas del modelo lo llevaron a la misma conclusión que entendemos intuitivamente por nuestro propio comportamiento.  Además del atajo, hay otro detalle interesante aquí.

El desglose del incidente en realidad reconoce que el modelo en un momento parece haber determinado que había abandonado la caja de arena, donde en algún nivel era "consciente" de que una o más limitaciones habían sido superadas por su secuencia de lógica y herramientas. La publicación ¿Qué permitió específicamente que el agente llegara a los sistemas de una empresa real durante las pruebas?  apareció por primera vez en Noticias de seguridad cibernética.

Consultar publicación original ↗