Secondo uno studio, i connettori di terze parti ampliano i rischi per la sicurezza degli agenti IA

Le integrazioni che consentono agli assistenti IA di accedere a servizi come Gmail, Slack, Dropbox o Zoom possono aumentare significativamente i rischi per la sicurezza associati ai sistemi agentici, secondo un’analisi della società di sicurezza IA PromptArmor.

La preoccupazione riguarda la combinazione di informazioni private, contenuti non affidabili e capacità di comunicare con l’esterno, uno schema talvolta descritto come “trifecta letale”. I connettori possono fornire a un agente l’accesso a tutti e tre gli elementi, introducendo al contempo strumenti, autorizzazioni e fornitori di servizi aggiuntivi che le organizzazioni potrebbero non aver valutato.

Le funzionalità sono cambiate rapidamente

PromptArmor ha esaminato i connettori utilizzati da ChatGPT di OpenAI e Claude di Anthropic. Secondo la società, 931 connettori su 2.517, pari al 37%, sono cambiati nell’arco di sei settimane, da metà maggio alla fine di giugno. Le modifiche hanno incluso 1.686 strumenti aggiunti ex novo e 1.127 descrizioni degli strumenti riscritte.

Questi aggiornamenti possono modificare ciò che un agente è in grado di fare e influenzare il momento in cui un modello sceglie di richiamare uno strumento. Il rapporto cita Dropbox come esempio: durante lo studio, il suo connettore è passato da otto a 24 strumenti. Gli strumenti in grado di scrivere sono aumentati da tre a 10, mentre quelli potenzialmente distruttivi sono passati da zero a quattro. Sono cambiati anche gli ambiti delle autorizzazioni e le istruzioni rivolte al modello.

I connettori possono richiamare altri servizi di IA

L’analisi ha inoltre rilevato che i connettori possono trasmettere informazioni ad altri fornitori di IA. PromptArmor ha esaminato 7.517 strumenti distribuiti su 487 connettori di Claude e ha stimato che 189 connettori, circa due su cinque, probabilmente contattassero servizi di IA esterni.

Per esempio, una richiesta di ricerca di una riunione inviata tramite un connettore Zoom potrebbe essere elaborata dai sistemi di IA e dai subincaricati di Zoom. Di conseguenza, un’organizzazione che approva Claude o un connettore potrebbe non rendersi conto che i dati vengono trasferiti ad altri modelli, fornitori o giurisdizioni, soggetti a policy e condizioni contrattuali differenti.

La documentazione di Anthropic osserva che i servizi connessi elaborano le informazioni sulla propria infrastruttura. I controlli che stabiliscono dove Claude esegue l’inferenza non limitano necessariamente tali servizi di terze parti.

I team di sicurezza possono ridurre l’esposizione creando un inventario degli strumenti e delle autorizzazioni dei connettori, monitorando le modifiche, esaminando i responsabili del trattamento a valle e limitando l’accesso ai dati sensibili e alle azioni ad alto impatto. I risultati sottolineano inoltre la necessità di considerare i connettori come dipendenze software in evoluzione, anziché come funzionalità fisse.