Le compagnie assicurative e i responsabili della sicurezza delle informazioni stanno esaminando come gestire le perdite legate a sistemi di IA autonoma che agiscono in modi imprevisti o dannosi. Mentre le organizzazioni implementano agenti di IA per automatizzare attività aziendali, di assistenza clienti e di sicurezza, crescono le preoccupazioni su chi sia responsabile quando tali sistemi prendono decisioni dannose.
La questione è particolarmente complessa quando un agente di IA è autorizzato ad accedere a dati interni, interagire con servizi di terze parti, approvare transazioni o modificare ambienti cloud. Errori di configurazione, istruzioni difettose, input manipolati e controlli di accesso inadeguati possono consentire a un sistema automatizzato di generare conseguenze finanziarie, operative o sulla privacy su larga scala.
Questioni di copertura e responsabilità
Le tradizionali polizze di assicurazione informatica potrebbero coprire alcuni eventi conseguenti, come violazioni dei dati, interruzioni dell'attività o costi di risposta agli incidenti. Tuttavia, gli assicuratori probabilmente esamineranno attentamente se un guasto correlato all'IA rientri nella formulazione delle polizze esistenti, se la supervisione umana sia stata sufficiente e se l'evento sia stato causato da negligenza, da un difetto software o da manipolazione dolosa.
Le organizzazioni potrebbero inoltre trovarsi di fronte a incertezze sulla responsabilità condivisa tra fornitori di modelli di IA, produttori di software, integratori di sistemi e l'azienda che gestisce l'agente. Le clausole contrattuali, i registri di audit e le prove tecniche potrebbero diventare importanti per determinare le responsabilità dopo un incidente.
Controlli in esame
Ai team di sicurezza viene sempre più richiesto di applicare misure di governance prima di concedere agli agenti di IA autorizzazioni estese. Le misure di protezione comuni includono:
- Limitare l'accesso degli agenti mediante autorizzazioni basate sul privilegio minimo e ambienti segmentati.
- Richiedere l'approvazione umana per azioni ad alto impatto, inclusi pagamenti, modifiche in produzione ed esportazioni di dati.
- Registrare l'attività degli agenti e conservare evidenze di prompt, chiamate agli strumenti e decisioni.
- Testare i sistemi contro prompt injection, fuga di dati e uso non sicuro degli strumenti.
- Stabilire procedure chiare di risposta agli incidenti per disabilitare o contenere i flussi di lavoro automatizzati.
Per gli assicuratori, controlli più robusti potrebbero diventare un fattore nella sottoscrizione e nella definizione dei prezzi man mano che l'uso dell'IA autonoma si espande. Per i CISO, la sfida consiste nel favorire i guadagni di produttività garantendo al contempo che i sistemi di IA rimangano osservabili, vincolati e soggetti a responsabilità.
