Los hackers pueden convertir flujos de trabajo de IA en proxies privilegiados para robar datos sin necesidad de vulnerar los modelos

Los flujos de trabajo de IA empresarial pueden ser vulnerables al uso indebido que expone información confidencial sin una inyección rápida, un compromiso de la cuenta o el desbloqueo de un modelo de lenguaje grande. Esta vulnerabilidad, denominada Secuestro de identidad de flujo de trabajo, explota las brechas de autorización entre los solicitantes externos y las identidades privilegiadas utilizadas por la automatización de IA.

Los flujos de trabajo vinculados a bandejas de entrada de correo electrónico públicas, formularios web, problemas de GitHub, documentos compartidos, sistemas de atención al cliente y plataformas de chat pueden estar en riesgo. Los hackers convierten los flujos de trabajo de IA en proxies de robo de datos Si un flujo de trabajo de IA está diseñado para leer mensajes entrantes, buscar buzones internos o fuentes de datos y responder automáticamente, puede cumplir. Esto permite a los usuarios externos no autenticados influir en los flujos de trabajo mientras acceden a los datos a través de claves API de desarrollador privilegiadas, cuentas de servicio o integraciones controladas por el administrador. Los flujos de trabajo de IA, a diferencia de los flujos de trabajo auténticos que pueden seleccionar de forma adaptativa herramientas y acciones para cumplir los objetivos, son generalmente predecibles.

Si solo los administradores pueden configurarlos o ejecutarlos, los flujos de trabajo procesan datos de fuentes no confiables, como bandejas de entrada o colas de tickets. La recuperación de datos confidenciales también debe ser distinta de las respuestas externas automatizadas para evitar que los flujos de trabajo que pueden acceder a registros financieros o correos electrónicos privados envíen resultados a usuarios no autenticados.

Consultar publicación original ↗