Gli aggressori potrebbero influenzare i riepilogatori email basati sull'IA incorporando istruzioni nell'HTML che i normali destinatari non possono vedere. Quando un sistema automatizzato elabora il messaggio, può interpretare il testo nascosto come parte del contenuto dell'email o come indicazioni su come riepilogarlo.
La tecnica sfrutta una discrepanza tra ciò che vede un essere umano e ciò che legge un sistema di IA. Un'email può apparire normale in un client di posta convenzionale, mentre il relativo markup sottostante contiene istruzioni volte a modificare l'output del modello. A seconda della progettazione dello strumento, tale contenuto nascosto potrebbe far sì che un riepilogo ometta dettagli importanti, presenti informazioni fuorvianti o includa testo controllato dall'aggressore.
Perché il problema è importante
I riepilogatori basati sull'IA sono sempre più utilizzati per condensare le caselle di posta, stabilire le priorità dei messaggi e mettere in evidenza gli elementi che richiedono un'azione. Se i relativi input non vengono trattati come dati non attendibili, formattazione dannosa o istruzioni incorporate potrebbero influenzare le decisioni prese dai destinatari o dai sistemi a valle. Il rischio può essere maggiore quando i riepiloghi vengono inoltrati automaticamente, utilizzati per popolare elenchi di attività o immessi in altri flussi di lavoro basati sull'IA.
Questo approccio è correlato alla prompt injection, in cui il contenuto fornito a un sistema di IA tenta di sovrascriverne le istruzioni previste. Negli ambienti email, l'attacco non richiede necessariamente la compromissione del server di posta o lo sfruttamento di una vulnerabilità software; un contenuto del messaggio accuratamente predisposto può essere sufficiente per verificare se un servizio di riepilogo separa i dati dai comandi.
Misure di protezione consigliate
- Visualizzare e sanitizzare il contenuto delle email prima di inviarlo a un modello di IA, inclusa la rimozione di elementi nascosti e markup sospetto.
- Utilizzare istruzioni di sistema chiare che indichino al modello di trattare il testo del messaggio come dati anziché come istruzioni eseguibili.
- Mostrare agli utenti il messaggio originale insieme al riepilogo generato, affinché possano verificare eventuali discrepanze importanti.
- Richiedere una conferma prima che i riepiloghi attivino azioni esterne, creino attività o modifichino record.
- Testare i sistemi di riepilogo con email avversarie, incluso testo nascosto e formattazione fuorviante.
Le organizzazioni dovrebbero inoltre verificare in che modo gli assistenti email di terze parti gestiscono HTML, risposte citate, allegati e link. I riepiloghi generati dall'IA possono migliorare la produttività, ma non dovrebbero essere considerati autorevoli senza controlli che tengano conto di contenuti ostili nei messaggi analizzati.
