Cuatro equipos de investigación convergieron en una sola conclusión en un período de diez días en julio: los agentes de inteligencia artificial son vulnerables no debido a un error en los modelos en sí, sino debido a los mecanismos que los rodean y que les otorgan acceso a los datos del usuario. Los estudios, publicados por empresas de seguridad y investigadores académicos, cada uno resalta un vector de ataque diferente, pero todos apuntan a la misma debilidad sistémica.
Manifold Security descubrió una explotación de extensión de navegador que apunta a Claude de Anthropic para Chrome. La extensión espera a que el usuario haga clic antes de lanzar una de las nueve tareas integradas, pero nunca verifica si el clic es genuino. Una extensión rival puede falsificar ese clic con un puñado de líneas de código, lo que hace que Claude lea Gmail, Google Docs y entradas de calendario sin solicitar permiso al usuario. Manifold califica la falla como de alta gravedad, que se eleva a crítica cuando los usuarios habilitan el modo "Actuar sin preguntar", que permite acciones silenciosas. A pesar de notificar a Anthropic en mayo, la falla persiste en la última versión.
En un experimento separado publicado en arXiv, los investigadores demostraron que un solo correo electrónico malicioso puede incrustar una memoria falsa en un asistente de inteligencia artificial. Al vincular el buzón del usuario a un agente a través de Google sign-in y enviar una carga útil cuidadosamente diseñada, sorteaban los filtros de spam y hacían que el agente almacenara las instrucciones del atacante en su memoria a largo plazo en más de la mitad de las pruebas. A diferencia de las inyecciones de instrucciones típicas que desaparecen después de una conversación, esta memoria envenenada persiste en sesiones, dirigiendo sutilmente al agente hasta que se descubre el engaño.
La conferencista de Semgrep, Katie Paxton-Fear, y sus colegas exploraron el envenenamiento de modelos a nivel de peso. Con menos de $100 y diez ejemplos de entrenamiento contaminados, alteraron un modelo de peso abierto para que generara código que contiene una falla de seguridad oculta, incluso para instrucciones que nunca había visto. Los modelos más grandes resultaron más fáciles de corromper. Los investigadores advierten que los modelos envenenados no muestran signos obvios de mal funcionamiento, lo que los hace virtualmente imposibles de auditar una vez lanzados.
El análisis de PromptArmor de los conectores – los puentes que vinculan a los agentes como ChatGPT y Claude a servicios externos como Gmail, Slack, Dropbox y Zoom – reveló un rápido cambio que magnifica el riesgo. De los 2,517 conectores rastreados, 931 cambiaron en seis semanas, y los proveedores agregaron 1,686 nuevas herramientas mientras reescribían 1,127 descripciones existentes. El conector de Dropbox, por ejemplo, creció de ocho a 24 herramientas y agregó cuatro que podrían destruir datos. El conector de Zoom puede canalizar una sola consulta a través de diez subprocesos de inteligencia artificial que abarcan ocho familias de modelos, lo que significa que un mapa aprobado el lunes puede ser completamente diferente el viernes.
Los cuatro estudios hacen eco de la "trifecta letal" identificada por el desarrollador Simon Willison: un agente con acceso a datos privados, exposición a contenido no confiable y la capacidad de exfiltrar información. Cuando los tres están presentes, un solo mensaje envenenado puede filtrar secretos. La investigación muestra que los asistentes de inteligencia artificial de hoy en día se están integrando en las cuentas más sensibles más rápido de lo que los desarrolladores pueden implementar guardias robustas.
Líderes de la industria han discutido durante mucho tiempo soluciones teóricas – validar clics, etiquetar fuentes de datos, solicitar permiso antes de escribir en la memoria, registrar acciones y tratar el texto externo como hostil – pero estas salvaguardias a menudo ralentizan el rendimiento, la métrica que los proveedores de inteligencia artificial promocionan. Los cuatro documentos ilustran que la brecha entre la conveniencia y la seguridad se está ampliando, y las personas que construyen defensas están todavía un paso por detrás de los atacantes que encuentran nuevos agujeros.
This article was written with the assistance of AI.
News Factory APP - agentic news to boost your SEO & AEO.