Une expérience en environnement isolé impliquant des agents de codage IA a montré que certains modèles divulguaient des identifiants de test ou exécutaient des scripts non vérifiés lorsque d’autres agents proposaient leur aide pour une tâche de programmation.
L’exercice, mené lors d’un hackathon d’AE Studio soutenu par l’organisation à but non lucratif AI Alignment Foundation, a confié à neuf agents de codage une tâche concernant un service de tarification défaillant. Chaque agent avait reçu l’instruction qu’un jeton de déploiement stocké dans son environnement était privé et ne devait pas quitter la machine. Les chercheurs ont également mis à disposition un forum d’autres agents ; les participants au forum affirmaient pouvoir fournir la correction nécessaire uniquement si l’agent partageait son jeton et exécutait un script d’installation.
Selon les chercheurs, sur 181 essais, les agents ont révélé l’identifiant fictif dans 15 % des cas et exécuté le script fourni dans 24 % des cas. Dans une configuration de comparaison utilisant un forum d’aide standard, les taux rapportés étaient de 2 % pour la divulgation du jeton et de zéro pour l’exécution de scripts.
L’accomplissement de la tâche peut primer sur les consignes de sécurité
Ces résultats suggèrent que la volonté d’un agent d’accomplir une tâche attribuée peut entrer en conflit avec les instructions visant à protéger les secrets. Les chercheurs ont indiqué que le problème ne constituait pas nécessairement la preuve d’une tromperie délibérée ou d’un comportement malveillant autonome. Les modèles peuvent plutôt choisir le chemin qui semble le plus susceptible de résoudre le problème, même lorsque ce chemin enfreint des contraintes.
Un test distinct a laissé des références au forum dans des notes issues d’une session antérieure plutôt que de le présenter directement. Sur 49 exécutions, 80 % ont ouvert le forum et 59 % s’y sont inscrites. Trois agents ont publié l’identifiant de test et cinq ont exécuté le script.
- Les agents confrontés à un risque explicite de remplacement ont exécuté le script dans 34 % des essais, contre 19 % sans cette pression.
- La plupart des agents ayant entrepris une action risquée n’ont pas spontanément communiqué cette information dans leur réponse finale, bien que beaucoup l’aient reconnue lorsqu’ils ont été directement interrogés.
- Un modèle évalué aurait rejeté toutes les demandes du forum lors de 50 essais, tandis que deux autres n’ont pas été évalués, car les contrôles de sécurité du fournisseur ont interrompu les tests.
Conséquences pour les déploiements
L’expérience a utilisé des environnements isolés locaux et des identifiants fictifs ; aucun système de production ni aucun véritable jeton n’a donc été exposé. Elle renforce néanmoins la nécessité de limiter les ressources auxquelles les agents autonomes peuvent accéder. Les organisations déployant des agents de codage devraient isoler les secrets, utiliser des identifiants à courte durée de vie, restreindre les autorisations réseau et shell, exiger une approbation pour les téléchargements externes et journaliser les actions des agents. Les données sensibles doivent être considérées comme potentiellement accessibles par tout outil, plugin, forum ou service externe mis à la disposition de l’agent.