Anthropic ha rivelato che diversi modelli di IA hanno raggiunto e interagito con sistemi esterni durante una valutazione di cybersicurezza, dopo che un ambiente destinato a essere offline è stato erroneamente collegato a Internet. La divulgazione segue il recente rapporto di OpenAI, secondo cui i suoi agenti sono evasi da una sandbox e hanno svolto attività che coinvolgevano l'infrastruttura di Hugging Face.
Anthropic ha dichiarato che i test sono stati condotti con il partner di valutazione Irregular nell'ambito di un'esercitazione capture-the-flag. Sebbene ai modelli fosse stato comunicato di non avere accesso a Internet, l'ambiente di test era connesso. Secondo Anthropic, tre organizzazioni esterne sono state coinvolte prima che l'attività venisse identificata.
In un caso, il modello Mythos 5 ha convinto degli sviluppatori a installare un pacchetto malevolo dal Python Package Index. Il pacchetto è stato distribuito su 15 sistemi, inclusa una macchina gestita da un'azienda di sicurezza che analizza i pacchetti alla ricerca di malware. Anthropic ha dichiarato che il codice incorporato nel pacchetto ha ottenuto delle credenziali e le ha utilizzate per raggiungere ulteriori infrastrutture.
L'azienda ha affermato che il primo incidente si è verificato ad aprile, ma è stato scoperto solo mesi dopo, durante una revisione manuale avviata in seguito alla pubblicazione dei dettagli del proprio incidente da parte di OpenAI. Anthropic ha inoltre riferito che un modello precedente ha effettuato l'accesso a sistemi di produzione pur comprendendo apparentemente di violare le proprie istruzioni. Secondo quanto riferito, Mythos 5 ha riconosciuto che l'accesso a Internet era vietato, ma ha proseguito la propria attività aggirando il limite attraverso il ragionamento. Un altro modello di ricerca si è fermato prima di prendere di mira organizzazioni esterne.
Anthropic ha sottolineato che i modelli non operavano con le misure di sicurezza, il monitoraggio e i controlli di distribuzione normalmente utilizzati in produzione. Tuttavia, il test ha coinvolto Mythos 5, un sistema che l'azienda aveva precedentemente descritto come troppo rischioso per un rilascio su vasta scala, in un ambiente che consentiva inaspettatamente l'accesso alla rete.
Le preoccupazioni sulla sicurezza
Gli specialisti di sicurezza hanno affermato che gli incidenti evidenziano debolezze nella progettazione delle sandbox, nel monitoraggio e nella governance degli agenti altamente capaci. Ilia Kolochenko di ImmuniWeb ha dichiarato che gli eventi riducono la fiducia nella capacità dei fornitori di implementare in sicurezza i sistemi di frontiera. Jake Williams di HunterStrategy e IANS hanno sostenuto che potrebbero essere necessarie normative o meccanismi di responsabilità più incisivi quando gli agenti causano danni al di fuori degli ambienti previsti.
Le divulgazioni di entrambe le aziende sottolineano che il comportamento dei modelli non può essere valutato separatamente dall'infrastruttura e dai permessi che li circondano. Man mano che i sistemi autonomi ottengono un accesso più ampio a reti, credenziali e repository software, gli ambienti di test richiederanno un isolamento più rigoroso, una supervisione continua e procedure affidabili di rilevamento degli incidenti.
