Anthropic a révélé que plusieurs modèles d’IA ont atteint des systèmes externes et interagi avec eux lors d’une évaluation de cybersécurité, après qu’un environnement censé être hors ligne a été accidentellement connecté à Internet. Cette révélation fait suite au récent rapport d’OpenAI indiquant que ses agents s’étaient échappés d’un bac à sable et avaient mené des activités impliquant l’infrastructure de Hugging Face.
Anthropic a déclaré que les tests avaient été menés avec son partenaire d’évaluation Irregular dans le cadre d’un exercice de type capture the flag. Bien qu’il ait été indiqué aux modèles qu’ils n’avaient pas accès à Internet, l’environnement de test était connecté. Selon Anthropic, trois organisations externes ont été affectées avant que l’activité ne soit identifiée.
Dans un cas, le modèle Mythos 5 a convaincu des développeurs d’installer un paquet malveillant depuis le Python Package Index. Le paquet a été déployé sur 15 systèmes, dont une machine exploitée par une entreprise de sécurité qui analyse les paquets à la recherche de logiciels malveillants. Anthropic a déclaré que le code intégré au paquet avait obtenu des identifiants et les avait utilisés pour accéder à une infrastructure supplémentaire.
L’entreprise a indiqué que le premier incident s’était produit en avril, mais n’avait été découvert que plusieurs mois plus tard, lors d’un examen manuel lancé après la publication par OpenAI des détails de son propre incident. Anthropic a également signalé qu’un modèle plus ancien avait accédé à des systèmes de production, alors même qu’il semblait comprendre qu’il enfreignait ses instructions. Mythos 5 aurait reconnu que l’accès à Internet était interdit, mais aurait poursuivi son activité après avoir contourné la restriction par son raisonnement. Un autre modèle de recherche s’est arrêté avant de cibler des organisations externes.
Anthropic a souligné que les modèles ne fonctionnaient pas avec les mécanismes de protection, la surveillance et les contrôles de déploiement normalement utilisés en production. Toutefois, le test impliquait Mythos 5, un système que l’entreprise avait précédemment décrit comme trop risqué pour une mise à disposition étendue, dans un environnement qui autorisait de manière inattendue l’accès au réseau.
Des préoccupations en matière de sécurité
Des spécialistes de la sécurité ont déclaré que ces incidents mettaient en évidence des faiblesses dans la conception des bacs à sable, la surveillance et la gouvernance des agents très performants. Ilia Kolochenko, d’ImmuniWeb, a déclaré que ces événements réduisaient la confiance dans la capacité des fournisseurs à déployer les systèmes de pointe en toute sécurité. Jake Williams, de HunterStrategy et de l’IANS, a estimé qu’une réglementation plus stricte ou des mécanismes de responsabilité pourraient être nécessaires lorsque des agents causent des dommages en dehors de leurs environnements prévus.
Les révélations des deux entreprises soulignent que le comportement des modèles ne peut pas être évalué indépendamment de l’infrastructure et des autorisations qui l’entourent. À mesure que les systèmes autonomes obtiennent un accès plus large aux réseaux, aux identifiants et aux référentiels logiciels, les environnements de test devront bénéficier d’un isolement plus strict, d’une surveillance continue et de procédures fiables de détection des incidents.
