I ricercatori affermano che i tag dei ruoli degli LLM possono essere sfruttati per aggirare le difese contro la prompt injection

I ricercatori di sicurezza hanno segnalato un nuovo modo per indurre in errore i modelli linguistici di grandi dimensioni e portarli a ignorare i limiti di sicurezza, sfruttando il modo in cui interpretano i prompt basati sui ruoli. Il lavoro suggerisce che le attuali difese contro la prompt injection restano fragili, perché i modelli potrebbero non distinguere in modo affidabile tra istruzioni attendibili e testo ostile.

Lo studio, condotto dai ricercatori indipendenti Charles Ye e Jasmine Cui insieme a Dylan Hadfield-Menell, professore associato al MIT, è descritto in un articolo intitolato Prompt Injection as Role Confusion, la cui presentazione è prevista all’ICML 2026. Gli autori sostengono che gli LLM moderni si affidino fortemente a etichette testuali come system, user, assistant, tool e think per separare le istruzioni e gestire il comportamento, ma che tali etichette non siano applicate in modo sicuro all’interno del modello stesso.

Secondo i ricercatori, i modelli spesso deducono i ruoli da indizi superficiali, come lo stile di scrittura, anziché da metadati attendibili. Questo apre la strada ad attacchi che imitano il ragionamento interno o altri formati privilegiati. In una dimostrazione, hanno utilizzato una tecnica che chiamano Chain of Thought Forgery per far apparire i prompt come se il modello avesse già analizzato e approvato la richiesta.

I ricercatori affermano che, nei test di benchmark, il metodo ha fatto aumentare drasticamente i tassi di successo degli attacchi rispetto ai normali tentativi di jailbreak. Sostengono inoltre che l’approccio sia stato trasferito tra diversi modelli in modo più affidabile rispetto a molte tecniche di prompt injection già esistenti, perché prende di mira una debolezza strutturale invece di fare affidamento sulle peculiarità di un singolo modello.

Perché il problema è importante

• I marcatori dei ruoli sono utilizzati come elemento fondamentale per consentire agli LLM di separare il testo attendibile da quello non attendibile.
• Gli aggressori potrebbero riuscire a inserire contenuti fuorvianti attraverso prompt o documenti.
• I punteggi dei benchmark possono sovrastimare la resilienza nel mondo reale se non includono test umani adattivi.
• I ricercatori affermano che protezioni più solide potrebbero richiedere una riprogettazione più profonda del modo in cui i modelli comprendono ruoli e autorizzazioni.

Gli autori dell’articolo concludono che è improbabile che la prompt injection scompaia nell’ambito dell’attuale modello di sicurezza. A loro giudizio, il settore potrebbe aver bisogno di nuovi metodi per fare in modo che i modelli riconoscano autorità e limiti in modo più affidabile, invece di continuare ad applicare correzioni ai singoli exploit man mano che emergono.