Un problema de seguridad reportado relacionado con AWS AgentCore ha llamado la atención sobre los riesgos de permitir que los agentes de IA procesen instrucciones no confiables mientras tienen acceso a credenciales en la nube o herramientas internas sensibles.
La preocupación se centra en la inyección de prompts, una clase de ataque en la que se incorpora contenido malicioso en material que se pide a un sistema de IA leer o procesar. Si un agente trata ese contenido como una instrucción autorizada, podría ser persuadido para solicitar, revelar o utilizar indebidamente credenciales, según los permisos y las integraciones disponibles.
Por qué importan los permisos de los agentes
Los agentes de IA pueden configurarse para recuperar datos, llamar a API, usar herramientas de desarrollo e interactuar con servicios en la nube. Estas capacidades pueden mejorar la automatización, pero también crean un límite de seguridad que debe gestionarse independientemente de la capacidad del modelo para seguir instrucciones en lenguaje natural.
Un prompt que solicite credenciales a un agente no debería, por sí solo, poder anular los controles de identidad. Sin embargo, las organizaciones pueden quedar expuestas si los agentes pueden acceder a secretos mediante roles con permisos amplios, devolver a los usuarios resultados sensibles de herramientas o seguir instrucciones contenidas en páginas web, tickets, documentos u otras fuentes externas.
Controles recomendados
- Aplique roles de IAM con privilegios mínimos y limite cada agente a las API y los recursos necesarios para su tarea.
- Mantenga los secretos en servicios dedicados de gestión de secretos, en lugar de prompts, archivos o configuraciones legibles por agentes, cuando sea posible.
- Exija autorización y validación explícitas antes de que los agentes realicen acciones sensibles o revelen resultados de herramientas.
- Separe las instrucciones confiables de los operadores del contenido recuperado no confiable, incluidos los datos recopilados de sitios web externos.
- Registre la actividad de los agentes, las llamadas a herramientas y los cambios de permisos para facilitar la detección y la respuesta ante incidentes.
- Pruebe los flujos de trabajo de los agentes frente a escenarios de inyección de prompts antes de implementarlos en producción.
El incidente ilustra que las salvaguardas para los agentes de IA no pueden depender únicamente de prompts del sistema o reglas de comportamiento. Una protección eficaz requiere medidas convencionales de seguridad en la nube, acceso restringido a herramientas, manejo cuidadoso del contenido externo y supervisión de los intentos de influir en los flujos de trabajo automatizados.