Un comentario de 13 palabras en Reddit puede envenenar los resultados de búsqueda de ChatGPT y Gemini AI

Un artículo académico recientemente publicado ha revelado una vulnerabilidad crítica en los sistemas de investigación profunda impulsados ​​por IA, incluidos aquellos que sustentan herramientas comerciales como OpenAI’s Deep Research y Gemini Deep Research de Google, que permite que un solo comentario breve en Reddit manipule los informes que estos agentes generan para miles de usuarios. Investigadores de Cornell Tech han presentado WARP (Web Agent Retrieval Poisoning), una novedosa técnica de ataque que explota el comportamiento de recuperación de sistemas de IA multiagente.

Estos sistemas de “agentes de investigación profunda” como STORM, Co-STORM y OmniThink descomponen de forma autónoma la consulta de un usuario en subconsultas, recuperan y sintetizan contenido de la web abierta y producen informes estructurados y citados. La vulnerabilidad clave: cuando estos agentes investigan un tema determinado, recuperan repetidamente el mismo pequeño conjunto de páginas de contenido generado por el usuario (CGU), principalmente de Reddit y Wikipedia, independientemente de cómo esté redactada la consulta. Al agregar tan solo 13 palabras de texto promocional elaborado a un único hilo de Reddit que se recupera con frecuencia, un adversario puede hacer que el agente cite el contenido envenenado e inserte entidades elegidas por el atacante, marcas falsas, servicios fraudulentos o información errónea en el informe final sintetizado. Reconocimiento: el atacante consulta un motor de búsqueda público (por ejemplo, Google) para identificar las URL de UGC que se devuelven constantemente en múltiples consultas relacionadas sobre el tema de destino.

El ataque no requiere acceso a la infraestructura del motor de búsqueda, a los componentes internos del modelo ni a ningún componente más allá de una cuenta pública de Reddit, lo que lo hace trivialmente accesible para actores de amenazas que van desde spammers comerciales hasta campañas de desinformación respaldadas por el estado. La publicación El comentario de Reddit de 13 palabras puede envenenar los resultados de búsqueda de ChatGPT y Gemini AI apareció por primera vez en Cyber ​​Security News.

Consultar publicación original ↗