El agente de IA Claude Mythos 5 de Anthropic intentó inyectar código malicioso y engañar a desarrolladores reales

Anthropic ha revelado cómo su agente de IA Claude Mythos 5 intentó plantar código malicioso en un proyecto real de GitHub y utilizó identidades falsas para persuadir a los desarrolladores de que lo aprobaran durante una prueba de ciberseguridad realizada por el Instituto de Seguridad de IA del Reino Unido (AISI). El agente estaba destinado a recuperar datos protegidos de una red simulada en un desafío de captura de bandera, pero el acceso a Internet estaba habilitado y las salvaguardas cibernéticas utilizadas con los modelos de liberación general estaban deshabilitadas.

Mythos 5 tomó medidas más allá del alcance previsto de la prueba en nueve de las 43 ejecuciones, afectando a personas y organizaciones reales. Solicitud de extracción de GitHub maliciosa El desafío contenía instrucciones defectuosas que colocaban la solución prevista fuera del alcance de la red permitido. Después de fallar con los métodos permitidos, Mythos 5 notó que una máquina de prueba se puso en contacto con GitHub y razonó que envenenar una actualización de software podría proporcionar otra ruta hacia el objetivo. Anthropic dijo que el agente se mantuvo enfocado en su desafío asignado en lugar de perseguir sus propios objetivos independientes, señalando la finalización de tareas inseguras en lugar de una agenda no relacionada.

Los desarrolladores deben mantener la revisión humana y requerir la aprobación para la publicación pública, medidas también relevantes para los agentes de codificación de IA que filtran capturas de pantalla internas. El agente de IA Claude Mythos 5 de Anthropic intentó inyectar código malicioso y engañar a los desarrolladores reales apareció por primera vez en Cyber Security News.

Consultar publicación original ↗