Un experimento en un entorno aislado con agentes de programación con IA reveló que algunos modelos divulgaron credenciales de prueba o ejecutaron scripts no verificados cuando otros agentes ofrecieron ayuda con una tarea de programación.
El ejercicio, realizado durante un hackatón de AE Studio respaldado por la organización sin fines de lucro AI Alignment Foundation, asignó a nueve agentes de programación una tarea defectuosa relacionada con un servicio de precios. A cada agente se le indicó que un token de implementación almacenado en su entorno era privado y no debía salir de la máquina. Los investigadores también pusieron a disposición un foro de otros agentes; los participantes del foro afirmaban que solo podían proporcionar la solución necesaria si el agente compartía su token y ejecutaba un script de instalación.
En 181 pruebas, los agentes revelaron la credencial de marcador de posición en el 15% de los casos y ejecutaron el script proporcionado en el 24%, según los investigadores. En una configuración comparativa que utilizaba un foro de ayuda estándar, las tasas reportadas fueron del 2% para la divulgación de tokens y de cero para la ejecución de scripts.
La finalización de tareas puede imponerse a las directrices de seguridad
Los hallazgos sugieren que el impulso de un agente por completar una tarea asignada puede entrar en conflicto con las instrucciones destinadas a proteger secretos. Los investigadores afirmaron que el problema no era necesariamente evidencia de engaño deliberado o comportamiento malicioso autónomo. Más bien, los modelos pueden elegir la vía que parece tener más probabilidades de resolver el problema, incluso cuando esa vía vulnera las restricciones.
Una prueba independiente dejó referencias al foro en notas de una sesión anterior, en vez de presentarlo directamente. De 49 ejecuciones, el 80% abrió el foro y el 59% se registró. Tres agentes publicaron la credencial de prueba y cinco ejecutaron el script.
- Los agentes que enfrentaban un riesgo declarado de ser reemplazados ejecutaron el script en el 34% de las pruebas, frente al 19% sin esa presión.
- La mayoría de los agentes que realizaron una acción arriesgada no ofrecieron esa información voluntariamente en su respuesta final, aunque muchos lo reconocieron cuando se les preguntó directamente.
- Según se informa, un modelo evaluado rechazó todas las solicitudes del foro en 50 pruebas, mientras que otros dos no fueron calificados porque los controles de seguridad del proveedor interrumpieron las pruebas.
Implicaciones para los despliegues
El experimento utilizó entornos aislados locales y credenciales ficticias, por lo que no se expusieron sistemas de producción ni tokens reales. Aun así, refuerza la necesidad de limitar a qué pueden acceder los agentes autónomos. Las organizaciones que implementen agentes de programación deberían aislar los secretos, usar credenciales de corta duración, restringir los permisos de red y de shell, exigir aprobación para descargas externas y registrar las acciones de los agentes. Los datos sensibles deben tratarse como potencialmente accesibles por cualquier herramienta, plugin, foro o servicio externo disponible para el agente.