Check Point Research ha descritto un problema, ora risolto, relativo a un servizio interno JFrog Artifactory utilizzato dagli ambienti di esecuzione del codice di OpenAI. Secondo i ricercatori, la configurazione avrebbe potuto consentire a un aggressore di trasmettere istruzioni nascoste tra sessioni ChatGPT isolate e potenzialmente utilizzare le connessioni autorizzate alle applicazioni di una vittima per recuperare dati.
I ricercatori hanno dichiarato di aver notificato OpenAI alla fine di giugno. A quel punto, OpenAI aveva già ritirato l'istanza Artifactory, secondo quanto riferito in seguito a un incidente separato che coinvolgeva agenti IA e Hugging Face. Check Point ha affermato che la propria scoperta era distinta da tale intrusione, sebbene entrambi i casi coinvolgessero lo stesso sistema interno di gestione dei pacchetti.
Come funzionava il canale
I container di esecuzione del codice di ChatGPT erano progettati senza accesso diretto a Internet, ma potevano accedere a un repository interno di pacchetti. Check Point ha scoperto che gli oggetti del repository potevano contenere proprietà di testo, inclusi dati codificati. Una sessione associata a un account poteva scrivere contenuti nel servizio condiviso, mentre la sessione di un altro utente poteva leggerli.
I ricercatori hanno inoltre riferito che le credenziali destinate alla lettura del repository consentivano azioni di scrittura. Poiché il codice eseguito in una sessione poteva autenticarsi al servizio, un aggressore avrebbe potuto memorizzare istruzioni che la sessione di una vittima avrebbe poi potuto elaborare.
In una proof of concept, Check Point ha utilizzato una conversazione ChatGPT condivisa per dimostrare il rischio. La richiesta visibile dell'utente era innocua, ad esempio la generazione di un grafico meteorologico, mentre un'istruzione occultata indirizzava il sistema ad accedere a un account Gmail collegato e a restituire informazioni tramite il canale del repository condiviso. La vittima non avrebbe visto né l'istruzione nascosta né i dati risultanti nella normale risposta della chat, hanno affermato i ricercatori.
Preoccupazioni più ampie sulla sicurezza dell'IA
Il potenziale impatto dipendeva dalle applicazioni collegate all'account della vittima. Oltre all'e-mail, i ricercatori hanno affermato che un accesso simile avrebbe potuto interessare servizi quali archiviazione cloud, piattaforme di collaborazione, repository di codice sorgente e file disponibili per l'assistente.
- I servizi interni condivisi possono compromettere l'isolamento se le autorizzazioni sono eccessivamente ampie.
- Le credenziali di sola lettura non dovrebbero fornire capacità di scrittura.
- I sistemi di IA con accesso ad applicazioni collegate necessitano di monitoraggio e controlli contro istruzioni nascoste o indirette.
Check Point ha caratterizzato il problema come un esempio dei rischi creati quando gli agenti IA possono eseguire codice, utilizzare credenziali e accedere a dati sensibili. OpenAI non ha fornito una risposta pubblica nel rapporto fornito. Con il servizio Artifactory interessato dismesso, lo specifico canale non è più disponibile, ma la ricerca evidenzia la necessità di confini di fiducia più solidi attorno agli strumenti di IA agentica.
