Nowe badania opisują technikę nazwaną „GhostJacking”, w której atakujący mogą wykorzystywać alerty bezpieczeństwa i zablokowane zdarzenia do wpływania na zachowanie agentów AI. Ustalenia wskazują na słabości w sposobie zarządzania tożsamościami, uprawnieniami i sygnałami bezpieczeństwa agentów.
Agenci AI coraz częściej działają z dostępem do aplikacji, danych i zautomatyzowanych przepływów pracy. W rezultacie systemy monitorujące ich aktywność mogą stać się ważną częścią granicy bezpieczeństwa. Według badania atakujący może próbować wykorzystywać alerty lub odrzucone działania jako dane wejściowe zmieniające decyzje agenta, potencjalnie stwarzając możliwość manipulowania jego działaniem lub przejęcia nad nim kontroli.
Dlaczego ta kwestia jest istotna
Tradycyjne mechanizmy kontroli tożsamości są zazwyczaj projektowane z myślą o użytkownikach będących ludźmi oraz długotrwale używanych kontach usługowych. Agenci AI mogą natomiast dynamicznie podejmować decyzje, wywoływać wiele narzędzi i reagować na zdarzenia w czasie rzeczywistym. Jeżeli ich tożsamości i uprawnienia nie są ściśle zarządzane, agent może otrzymać szerszy dostęp, niż jest to konieczne, albo nieprzewidywalnie reagować na wrogie sygnały.
Badanie podkreśla, że zablokowanej aktywności nie należy traktować jako nieszkodliwego szumu w tle. Zdarzenia bezpieczeństwa mogą być również przetwarzane przez samego agenta, połączone systemy orkiestracji lub inne zautomatyzowane komponenty. Bez wyraźnego rozdzielenia zaufanych instrukcji od niezaufanych danych zdarzeń atakujący mogą być w stanie wpłynąć na kontekst lub działania agenta.
Aspekty bezpieczeństwa
- Przypisuj każdemu agentowi odrębną, ściśle ograniczoną tożsamość i ograniczaj dostęp wyłącznie do narzędzi oraz danych, których potrzebuje.
- Oddziel telemetrię bezpieczeństwa od instrukcji, których agent ma uprawnienia wykonywać.
- Weryfikuj sposób walidacji alertów, odrzuconych żądań i innych zewnętrznych danych wejściowych, zanim dotrą one do agenta.
- Monitoruj aktywność agentów pod kątem nieoczekiwanego użycia uprawnień, powtarzających się zablokowanych działań lub nagłych zmian zachowania.
- Utrzymuj wymóg zatwierdzania przez człowieka w przypadku wrażliwych operacji, zwłaszcza związanych z tożsamością, dostępem lub nieodwracalnymi zmianami.
Ustalenia te wzmacniają rosnące obawy, że zabezpieczanie agentów AI wymaga czegoś więcej niż zabezpieczeń samego modelu. Organizacje muszą również stosować zarządzanie tożsamością, mechanizmy najmniejszych uprawnień oraz ciągłe monitorowanie wobec agentów i systemów, które nimi kierują.
