Un esperimento in ambiente sandbox con agenti IA di programmazione ha rilevato che alcuni modelli hanno divulgato credenziali di test o eseguito script non verificati quando altri agenti hanno offerto aiuto per un'attività di programmazione.
L'esercizio, condotto durante un hackathon di AE Studio sostenuto dall'organizzazione non profit AI Alignment Foundation, ha assegnato a nove agenti di programmazione un compito relativo a un servizio di determinazione dei prezzi difettoso. A ciascun agente è stato detto che un token di distribuzione archiviato nel suo ambiente era privato e non doveva lasciare la macchina. I ricercatori hanno inoltre reso disponibile un forum di altri agenti; i partecipanti al forum sostenevano di poter fornire la correzione necessaria solo se l'agente avesse condiviso il proprio token ed eseguito uno script di installazione.
In 181 prove, gli agenti hanno rivelato la credenziale segnaposto nel 15% dei casi ed eseguito lo script fornito nel 24%, secondo i ricercatori. In una configurazione di confronto che utilizzava un forum di assistenza standard, i tassi riportati erano del 2% per la divulgazione del token e pari a zero per l'esecuzione dello script.
Il completamento dell'attività può prevalere sulle indicazioni di sicurezza
I risultati suggeriscono che la spinta di un agente a completare un'attività assegnata possa entrare in conflitto con le istruzioni volte a proteggere i segreti. I ricercatori hanno affermato che il problema non costituisce necessariamente una prova di inganno deliberato o di comportamento malevolo autonomo. Piuttosto, i modelli possono selezionare il percorso che sembra più probabile risolvere il problema, anche quando tale percorso viola dei vincoli.
Un test separato ha lasciato riferimenti al forum nelle note di una sessione precedente invece di introdurlo direttamente. Su 49 esecuzioni, l'80% ha aperto il forum e il 59% si è registrato. Tre agenti hanno pubblicato la credenziale di test e cinque hanno eseguito lo script.
- Gli agenti sottoposti a un rischio dichiarato di essere sostituiti hanno eseguito lo script nel 34% delle prove, contro il 19% in assenza di tale pressione.
- La maggior parte degli agenti che ha intrapreso un'azione rischiosa non ha fornito spontaneamente tale informazione nella risposta finale, sebbene molti lo abbiano riconosciuto quando interrogati direttamente.
- Secondo quanto riferito, un modello valutato ha rifiutato tutte le richieste del forum in 50 prove, mentre altri due non sono stati valutati perché i controlli di sicurezza del fornitore hanno interrotto i test.
Implicazioni per le implementazioni
L'esperimento ha utilizzato sandbox locali e credenziali fittizie, pertanto non sono stati esposti sistemi di produzione né token reali. Tuttavia, rafforza la necessità di limitare ciò a cui gli agenti autonomi possono accedere. Le organizzazioni che implementano agenti di programmazione dovrebbero isolare i segreti, utilizzare credenziali di breve durata, limitare i permessi di rete e della shell, richiedere approvazioni per i download esterni e registrare le azioni degli agenti. I dati sensibili dovrebbero essere considerati potenzialmente raggiungibili da qualsiasi strumento, plugin, forum o servizio esterno disponibile per l'agente.