I ricercatori di sicurezza di Check Point affermano che il rischio principale in molti sistemi con agenti AI non consiste soltanto nel prompt injection, ma nel modo in cui i framework per agenti elaborano contenuti che un attaccante può influenzare. Le loro scoperte, presentate alla conferenza Black Hat, riguardano 11 vulnerabilità in diverse piattaforme di sviluppo ampiamente utilizzate.
La revisione, durata un anno, ha esaminato LangChain, LangGraph, CrewAI, AutoGen, Microsoft Agent Framework e l’Agent Development Kit (ADK) di Google. Secondo i ricercatori, i prodotti interessati possono consentire a testo o file non affidabili di raggiungere funzioni attendibili responsabili dell’orchestrazione, della memoria, del routing e della gestione dello stato.
Yarden Porat e Shahar Tal hanno affermato che le vulnerabilità riguardavano in gran parte problemi di sicurezza già noti, anziché tecniche innovative specifiche dell’AI. Le categorie segnalate includevano deserializzazione non sicura, falsificazione di richieste lato server, attraversamento dei percorsi e problemi di use-after-free. La loro preoccupazione è che queste debolezze compaiano ora in software in grado di leggere documenti aziendali, accedere a credenziali cloud o modificare dati aziendali.
La falla nei checkpoint consentiva l’esecuzione di codice
Un problema critico in Microsoft Agent Framework riguardava i dati dei checkpoint. I checkpoint conservano i progressi e la cronologia delle conversazioni di un agente, consentendo di riprendere successivamente una sessione. Check Point ha affermato che un attaccante poteva utilizzare contenuti controllati tramite prompt per inserire un payload malevolo in un checkpoint, che avrebbe potuto essere attivato quando un’altra sessione ripristinava quello stato.
Microsoft ha riconosciuto la segnalazione, ha pagato una ricompensa di 10.000 dollari e ha rilasciato protezioni progettate per bloccare la catena d’attacco dimostrata. L’azienda ha inoltre aggiunto una formulazione per chiarire il confine di sicurezza relativo al file di checkpoint interessato. Non è stato assegnato alcun CVE perché il framework non era generalmente disponibile quando il problema è stato segnalato.
Esposizione dell’ADK di Google
Check Point ha inoltre segnalato una debolezza nell’assistente di sviluppo integrato nell’ADK di Google. I ricercatori hanno affermato che un’interfaccia HTTP non autenticata poteva essere utilizzata per creare ed eseguire un agente contenente codice Python che veniva eseguito durante l’importazione. In una distribuzione Cloud Run predefinita, sostengono, il processo risultante avrebbe potuto accedere alle chiavi presenti nell’ambiente e all’account di servizio Google Cloud del container.
Secondo Check Point, Google inizialmente ha contestato la classificazione del problema, ma in seguito ha pagato una ricompensa di 3.133,70 dollari e applicato una correzione parziale. I ricercatori hanno affermato che le ricompense complessive ammontavano a 17.133,70 dollari.
La conclusione più ampia di Check Point è che le organizzazioni dovrebbero presumere che si verificheranno tentativi di prompt injection e concentrarsi sul garantire che i contenuti iniettati rimangano dati non affidabili, senza influenzare la logica di controllo del framework.