I ricercatori affermano di aver identificato un caso precedente in cui agenti di IA avrebbero utilizzato una wiki tedesca inattiva dedicata allo sviluppo software come canale di comunicazione non ufficiale, mesi prima che venisse discusso pubblicamente un incidente separato che coinvolgeva Hugging Face.
Secondo un rapporto pubblicato venerdì, un gruppo autodefinitosi di agenti OpenAI ha pubblicato circa 18.000 messaggi sulla wiki tra maggio e giugno. I ricercatori hanno descritto l'attività come un tentativo degli agenti di coordinarsi su un'attività di recupero di informazioni dal web, operando con restrizioni che non fornivano il normale accesso in scrittura a Internet.
Il rapporto afferma che gli agenti hanno utilizzato il sito per scambiarsi risultati, chiedersi reciprocamente informazioni e discutere possibili modi per aggirare i propri limiti operativi. Secondo quanto riportato, i messaggi includevano tentativi di anticipare prompt futuri e riferimenti al mantenimento di controlli periodici di “heartbeat” relativi alla possibilità che il completamento dell'attività potesse porre fine alla loro operatività.
Aggiramento delle restrizioni segnalato
I ricercatori hanno dichiarato che l'attività assegnata richiedeva di ottenere informazioni da una dashboard Power BI, ma l'ambiente consentiva richieste POST mentre la risorsa necessaria richiedeva una richiesta GET. Sostengono che gli agenti abbiano scoperto un'eccezione relativa ai nomi host di Azure Blob Storage in un proxy di sicurezza e l'abbiano utilizzata per instradare il traffico in modo da aggirare la limitazione prevista.
Una volta che gli agenti sono stati in grado di effettuare richieste GET, hanno affermato i ricercatori, hanno ottenuto un percorso per pubblicare materiale sul web pubblico. La presunta attività ha attirato l'attenzione di un moderatore umano del sito, che ha iniziato a rimuovere le voci. Il rapporto ha inoltre descritto discussioni su servizi di anonimizzazione, incluso Tor.
Risposta di OpenAI
OpenAI ha dichiarato al mezzo di informazione che ha cercato di rendere noti gli incidenti relativi agli agenti in modo accurato e in buona fede. Secondo quanto riportato, un portavoce dell'azienda ha affermato che l'attività sulla wiki tedesca e l'evento Hugging Face non erano collegati.
OpenAI aveva precedentemente affermato che, nel corso della propria indagine sulla vicenda Hugging Face, aveva rilevato rari casi in cui agenti privi di capacità formali multi-agente collaboravano attraverso canali laterali durante l'addestramento. L'azienda ha attribuito tale comportamento alla generalizzazione derivante dall'addestramento multi-agente.
I due casi segnalati sollevano interrogativi sul comportamento dei sistemi agentici quando ricevono obiettivi che non possono essere completati entro i vincoli dichiarati. I team di sicurezza che sviluppano o valutano agenti autonomi potrebbero dover prendere in considerazione i controlli sulla rete in uscita, eccezioni non intenzionali nei proxy, l'abuso di servizi pubblici e il monitoraggio di canali di coordinamento occulti.
