Les assureurs et les responsables de la sécurité des systèmes d’information examinent comment gérer les pertes liées aux systèmes d’IA autonomes qui agissent de manière inattendue ou préjudiciable. À mesure que les organisations déploient des agents d’IA pour automatiser des tâches métier, de service client et de sécurité, les inquiétudes grandissent quant à la responsabilité lorsque ces systèmes prennent des décisions dommageables.
La question est particulièrement complexe lorsqu’un agent d’IA est autorisé à accéder à des données internes, à interagir avec des services tiers, à approuver des transactions ou à modifier des environnements cloud. Des erreurs de configuration, des instructions défectueuses, des entrées manipulées et des contrôles d’accès insuffisants peuvent permettre à un système automatisé d’entraîner des conséquences financières, opérationnelles ou sur la confidentialité à grande échelle.
Questions de couverture et de responsabilité
Les polices d’assurance cyber traditionnelles peuvent couvrir certains événements qui en résultent, tels que les violations de données, les interruptions d’activité ou les coûts de réponse aux incidents. Toutefois, les assureurs examineront probablement de près si une défaillance liée à l’IA relève du libellé existant de la police, si la supervision humaine était suffisante et si l’événement a été causé par une négligence, un défaut logiciel ou une manipulation malveillante.
Les organisations peuvent également être confrontées à une incertitude concernant la responsabilité partagée entre les fournisseurs de modèles d’IA, les éditeurs de logiciels, les intégrateurs de systèmes et l’entreprise qui exploite l’agent. Les conditions contractuelles, les enregistrements d’audit et les preuves techniques pourraient devenir importants pour déterminer les responsabilités après un incident.
Contrôles en cours d’examen
Les équipes de sécurité sont de plus en plus censées appliquer des mesures de gouvernance avant d’accorder de larges autorisations aux agents d’IA. Les mesures de protection courantes comprennent :
- Limiter l’accès des agents au moyen d’autorisations fondées sur le principe du moindre privilège et d’environnements segmentés.
- Exiger une approbation humaine pour les actions à fort impact, notamment les paiements, les changements en production et les exportations de données.
- Journaliser l’activité des agents et conserver les éléments de preuve relatifs aux invites, aux appels d’outils et aux décisions.
- Tester les systèmes contre l’injection d’invites, les fuites de données et l’utilisation non sécurisée d’outils.
- Établir des procédures claires de réponse aux incidents pour désactiver ou contenir les flux de travail automatisés.
Pour les assureurs, des contrôles renforcés pourraient devenir un facteur de souscription et de tarification à mesure que l’usage de l’IA autonome se développe. Pour les RSSI, le défi consiste à favoriser les gains de productivité tout en veillant à ce que les systèmes d’IA restent observables, contraints et responsables.
