Los investigadores de seguridad de Check Point afirman que el principal riesgo en muchos sistemas de agentes de IA no es únicamente la inyección de prompts, sino la forma en que los frameworks de agentes procesan contenido que un atacante puede controlar. Sus hallazgos, presentados en Black Hat, abarcan 11 vulnerabilidades en varias plataformas de desarrollo ampliamente utilizadas.
La revisión, realizada durante un año, examinó LangChain, LangGraph, CrewAI, AutoGen, Microsoft Agent Framework y el Agent Development Kit (ADK) de Google. Según los investigadores, los productos afectados pueden permitir que texto o archivos no confiables lleguen a funciones confiables responsables de la orquestación, la memoria, el enrutamiento y la gestión del estado.
Yarden Porat y Shahar Tal afirmaron que las vulnerabilidades estaban relacionadas en gran medida con problemas de seguridad conocidos, más que con técnicas novedosas específicas de la IA. Entre las categorías señaladas se incluyeron la deserialización insegura, la falsificación de solicitudes del lado del servidor, el recorrido de rutas y problemas de uso tras liberación. Su preocupación es que estas debilidades aparezcan ahora en software capaz de leer documentos empresariales, acceder a credenciales en la nube o modificar datos corporativos.
Un fallo de checkpoint permitió ejecutar código
Un problema crítico en Microsoft Agent Framework estaba relacionado con los datos de checkpoint. Los checkpoints conservan el progreso y el historial de conversaciones de un agente para que una sesión pueda reanudarse posteriormente. Check Point afirmó que un atacante podía utilizar contenido controlado mediante prompts para introducir una carga maliciosa en un checkpoint, que después podría activarse cuando otra sesión restaurara ese estado.
Microsoft reconoció el informe, pagó una recompensa de 10.000 dólares y publicó protecciones destinadas a bloquear la ruta de ataque demostrada. La empresa también añadió texto para aclarar el límite de seguridad del archivo de checkpoint afectado. No se asignó ningún CVE porque el framework no estaba disponible de forma general cuando se notificó el problema.
Exposición en Google ADK
Check Point también informó de una debilidad en el asistente de desarrollo integrado en Google ADK. Los investigadores afirmaron que una interfaz HTTP sin autenticación podía utilizarse para crear y ejecutar un agente que contuviera código Python, el cual se ejecutaba durante la importación. Según alegaron, en una implementación predeterminada de Cloud Run, el proceso resultante podía acceder a claves del entorno y a la cuenta de servicio de Google Cloud del contenedor.
Según Check Point, Google cuestionó inicialmente la clasificación del problema, pero posteriormente pagó una recompensa de 3.133,70 dólares y aplicó una solución parcial. Los investigadores afirmaron que sus recompensas totales ascendieron a 17.133,70 dólares.
La conclusión general de Check Point es que las organizaciones deben asumir que se producirán intentos de inyección de prompts y centrarse en garantizar que el contenido inyectado siga siendo datos no confiables, en lugar de influir en la lógica de control del framework.