Atakujący mogą być w stanie wpływać na oparte na AI narzędzia podsumowujące wiadomości e-mail, osadzając instrukcje w kodzie HTML, których zwykli odbiorcy nie widzą. Gdy zautomatyzowany system przetwarza wiadomość, może zinterpretować ukryty tekst jako część jej treści lub jako wskazówki dotyczące sposobu jej podsumowania.
Technika ta wykorzystuje różnicę między tym, co widzi człowiek, a tym, co odczytuje system AI. Wiadomość e-mail może wyglądać zwyczajnie w standardowym kliencie pocztowym, podczas gdy jej bazowy kod zawiera sformułowania mające na celu zmianę danych wyjściowych modelu. W zależności od projektu narzędzia ukryta treść może spowodować, że podsumowanie pominie istotne szczegóły, przedstawi wprowadzające w błąd informacje lub zawrze tekst kontrolowany przez atakującego.
Dlaczego ten problem jest istotny
Narzędzia AI do podsumowywania są coraz częściej używane do skracania zawartości skrzynek odbiorczych, priorytetyzowania wiadomości i wyodrębniania zadań wymagających działania. Jeżeli dane wejściowe nie są traktowane jako niezaufane dane, złośliwe formatowanie lub osadzone instrukcje mogą wpływać na decyzje podejmowane przez odbiorców albo systemy działające w dalszych etapach przetwarzania. Ryzyko może być większe, gdy podsumowania są automatycznie przekazywane dalej, wykorzystywane do tworzenia list zadań lub przekazywane do innych procesów AI.
To podejście jest związane z wstrzykiwaniem poleceń (prompt injection), w którym treść dostarczona systemowi AI próbuje nadpisać jego zamierzone instrukcje. W środowiskach poczty e-mail atak nie musi koniecznie wymagać przejęcia serwera pocztowego ani wykorzystania luki w oprogramowaniu; starannie przygotowana treść wiadomości może wystarczyć, aby sprawdzić, czy usługa podsumowująca oddziela dane od poleceń.
Zalecane zabezpieczenia
- Renderuj i oczyszczaj treść wiadomości e-mail przed przekazaniem jej do modelu AI, w tym usuwaj ukryte elementy i podejrzany kod.
- Stosuj jasne instrukcje systemowe informujące model, że tekst wiadomości należy traktować jako dane, a nie jako wykonywalne polecenia.
- Wyświetlaj użytkownikom oryginalną wiadomość obok wygenerowanego podsumowania, aby mogli sprawdzić istotne rozbieżności.
- Wymagaj potwierdzenia, zanim podsumowania wywołają działania zewnętrzne, utworzą zadania lub zmienią rekordy.
- Testuj systemy podsumowujące z użyciem wiadomości o charakterze adversarialnym, w tym wiadomości zawierających ukryty tekst i wprowadzające w błąd formatowanie.
Organizacje powinny również sprawdzić, jak zewnętrzni asystenci poczty e-mail obsługują kod HTML, cytowane odpowiedzi, załączniki i linki. Podsumowania generowane przez AI mogą zwiększać produktywność, ale nie należy uznawać ich za wiarygodne bez mechanizmów kontroli uwzględniających wrogą treść w analizowanych wiadomościach.
