Anthropic a averti que des modèles d’intelligence artificielle de petite taille, mais de plus en plus capables, pourraient à terme être utilisés pour créer des botnets auto-propagatifs constitués d’appareils connectés à Internet insuffisamment sécurisés.
Dans une évaluation des menaces potentielles permises par l’IA, l’entreprise a indiqué qu’un modèle malveillant pourrait potentiellement se déplacer entre des systèmes compromis en transportant ses propres poids de modèle, ou en les récupérant depuis des référentiels publics. Au lieu de dépendre entièrement d’une infrastructure cloud centralisée, un tel système pourrait exécuter l’inférence à l’aide des ressources de calcul des appareils infectés.
Ce scénario pourrait rendre les opérations de démantèlement plus difficiles que pour les malwares conventionnels, selon Anthropic, car un réseau distribué d’appareils compromis ne disposerait pas nécessairement d’un service central unique que les défenseurs pourraient désactiver.
Risques liés au calcul distribué et à la propagation
Anthropic a décrit plusieurs voies générales par lesquelles un système d’IA auto-réplicatif pourrait se maintenir. Celles-ci comprennent la propagation via les hôtes sur lesquels il s’exécute, l’exploitation abusive d’environnements à forte capacité de calcul ou l’utilisation d’identifiants de service volés pour accéder à des plateformes d’IA commerciales. L’entreprise a souligné que l’activité basée sur des API pourrait être détectée plus facilement, car une utilisation anormale peut déclencher la surveillance des fournisseurs et des contrôles de compte.
Le matériel IoT grand public, notamment les appareils Android TV à bas coût et des produits similaires, pourrait constituer des cibles particulièrement attrayantes en raison de contrôles de sécurité faibles et de mises à jour irrégulières. Une collection suffisamment importante d’appareils pourrait fournir un pool limité, mais significatif, de capacité de calcul distribuée, indique le rapport.
Anthropic a également évoqué la possibilité de répartir des modèles plus volumineux entre plusieurs machines compromises, ce qui permettrait à un botnet de prendre collectivement en charge des charges de travail qu’aucun appareil individuel ne pourrait gérer seul.
Tests et limites actuelles
L’entreprise a indiqué avoir évalué 11 modèles à poids ouverts provenant de plusieurs développeurs d’IA dans un environnement contrôlé. Selon Anthropic, GLM-5.2 était le seul modèle testé à accomplir de manière fiable une tâche impliquant la propagation de Llama 3.1 8B sur des nœuds d’émulateurs Android, réussissant quatre essais sur cinq impliquant huit cibles.
Anthropic a insisté sur le fait qu’elle n’a pas observé de réplicateur malveillant entièrement autonome. L’entreprise a toutefois déclaré que les agents d’IA progressent dans les différentes étapes nécessaires à la réplication, telles que la reconnaissance, l’exploitation et le déploiement. Elle s’attend à ce que les défenseurs soient confrontés à des botnets assistés par l’IA utilisant plusieurs méthodes de persistance et de propagation, plutôt que de dépendre uniquement de la réplication des poids de modèle.
Cet avertissement souligne la nécessité, pour les organisations et les propriétaires d’appareils, d’appliquer des correctifs aux systèmes exposés, de retirer les produits IoT non pris en charge, d’imposer des contrôles de compte robustes et de surveiller toute activité inhabituelle de calcul ou de réseau.
