Un problème de sécurité signalé impliquant AWS AgentCore a attiré l’attention sur les risques liés au fait d’autoriser des agents d’IA à traiter des instructions non fiables alors qu’ils ont accès à des identifiants cloud ou à des outils internes sensibles.
La préoccupation porte sur l’injection de prompts, une catégorie d’attaque dans laquelle du contenu malveillant est intégré à des éléments qu’un système d’IA est invité à lire ou à traiter. Si un agent considère ce contenu comme une instruction autorisée, il pourrait être convaincu de demander, divulguer ou utiliser abusivement des identifiants, selon les autorisations et les intégrations dont il dispose.
Pourquoi les autorisations des agents sont importantes
Les agents d’IA peuvent être configurés pour récupérer des données, appeler des API, utiliser des outils de développement et interagir avec des services cloud. Ces capacités peuvent améliorer l’automatisation, mais elles créent également une frontière de sécurité qui doit être gérée indépendamment de la capacité du modèle à suivre des directives en langage naturel.
Un prompt demandant des identifiants à un agent ne devrait pas, à lui seul, pouvoir contourner les contrôles d’identité. Toutefois, les organisations peuvent être exposées si des agents peuvent accéder à des secrets via des rôles trop étendus, renvoyer aux utilisateurs des résultats d’outils sensibles ou suivre des instructions contenues dans des pages web, des tickets, des documents ou d’autres sources externes.
Contrôles recommandés
- Appliquez des rôles IAM fondés sur le principe du moindre privilège et limitez chaque agent aux API et aux ressources nécessaires à sa tâche.
- Conservez les secrets dans des services dédiés de gestion des secrets plutôt que dans des prompts, des fichiers ou des configurations lisibles par les agents, lorsque cela est possible.
- Exigez une autorisation explicite et une validation avant que les agents n’effectuent des actions sensibles ou ne divulguent les résultats d’outils.
- Séparez les instructions fiables des opérateurs du contenu récupéré non fiable, y compris les données collectées sur des sites web externes.
- Journalisez l’activité des agents, les appels d’outils et les modifications d’autorisations afin de faciliter la détection et la réponse aux incidents.
- Testez les flux de travail des agents face à des scénarios d’injection de prompts avant le déploiement en production.
L’incident montre que les mesures de protection des agents d’IA ne peuvent pas reposer uniquement sur des prompts système ou des règles comportementales. Une protection efficace exige des mesures de sécurité cloud conventionnelles, un accès aux outils restreint, une gestion prudente du contenu externe et une surveillance des tentatives visant à influencer les flux de travail automatisés.