Badacze bezpieczeństwa zwracają uwagę na możliwą ewolucję ataków polegających na pośrednim wstrzykiwaniu poleceń: złośliwy lub manipulacyjny tekst umieszczany w nagłówkach stron internetowych i innych metadanych, który może być przetwarzany przez przeglądarki, asystentów, narzędzia wyszukiwania lub zautomatyzowanych agentów wykorzystujących AI.
Pośrednie wstrzykiwanie poleceń występuje, gdy system AI napotyka instrukcje osadzone w treści, którą ma podsumować, przeglądać, pobrać lub w inny sposób przeanalizować. W przeciwieństwie do bezpośredniego ataku, w którym osoba wprowadza szkodliwe żądanie do chatbota, instrukcje są dostarczane za pośrednictwem źródła zewnętrznego, takiego jak strona internetowa, dokument, wiadomość e-mail lub wpis online.
Nagłówki mogą być atrakcyjnym miejscem dla takich treści, ponieważ często są traktowane jako informacje w tle, a nie widoczny tekst strony. W zależności od tego, jak narzędzie AI zbiera i interpretuje treści internetowe, wstrzyknięty język w tytułach stron, opisach meta, nagłówkach HTTP, danych strukturalnych lub innych polach może wpływać na zautomatyzowany proces pracy.
Potencjalny wpływ na przeglądanie internetu wspomagane przez AI
Ryzyko zależy od projektu produktu i przyznanych uprawnień. System AI, który jedynie podsumowuje stronę, może generować mylące wyniki, natomiast agent połączony z pocztą e-mail, plikami, przeglądarkami lub aplikacjami biznesowymi może napotkać poważniejsze konsekwencje, jeśli uzna niezaufaną treść strony za wiarygodne instrukcje.
- Manipulowanie podsumowaniami lub wynikami wyszukiwania
- Próby zastąpienia zadania wskazanego przez użytkownika
- Żądania ujawnienia wrażliwego kontekstu lub danych
- Próby wywołania działań w połączonych narzędziach lub usługach
Organizacje wdrażające agentów AI powinny zapewnić wyraźne oddzielenie danych pobieranych z internetu od instrukcji na poziomie systemu oraz instrukcji zatwierdzonych przez użytkownika. Zespoły bezpieczeństwa mogą również ograniczać uprawnienia narzędzi, wymagać potwierdzenia działań o istotnych skutkach, rejestrować decyzje agentów oraz testować produkty pod kątem wrogich treści zarówno w widocznych, jak i niewidocznych polach internetowych.
Dla użytkowników incydent ten przypomina, że wyniki przeglądania generowane przez AI należy weryfikować, zamiast automatycznie je akceptować. Treści internetowe, w tym metadane, które zwykle nie są wyświetlane w oknie przeglądarki, powinny być traktowane jako niezaufane dane wejściowe, gdy są przekazywane systemowi AI.
