OpenAI usunęło lukę w ChatGPT Workspace Agents, która według badań Zenity Labs mogła umożliwić atakującemu wdrożenie i zdalne sterowanie autonomicznym agentem AI w organizacji.
Zenity nazwało problem „AgentForger” i opisało go jako specjalnie spreparowany atak typu cross-site request forgery (CSRF). Luka dotyczyła narzędzia Agent Builder w ChatGPT, w którym parametry osadzone w adresie URL inicjalizacji mogły wpływać na szablon agenta i przekazywać mu początkowe instrukcje. Badacze stwierdzili, że parametry te można było wykorzystać do utworzenia agenta o szerokich możliwościach i zachowaniu zdefiniowanym przez atakującego.
W zademonstrowanym ataku agent otrzymywał instrukcję monitorowania wcześniej autoryzowanego konektora poczty e-mail pod kątem wiadomości pasujących do określonego wzorca tematu. Wiadomości te mogły następnie służyć jako polecenia, a agent wykonywał zadania za pośrednictwem połączonych usług i wysyłał wyniki na zewnętrzny adres. Dodatkowe instrukcje mogły ukryć agenta, ograniczyć monity o zatwierdzenie i aktywować go do ciągłego działania.
Warunki wymagane do wykorzystania luki
Scenariusz zależał od kilku warunków wstępnych. Pracownik będący celem ataku musiał być zalogowany do ChatGPT, mieć dostęp do Workspace Agents oraz posiadać co najmniej jeden autoryzowany konektor, taki jak Gmail lub Outlook. Ponieważ konektor został już zatwierdzony, atak nie musiał koniecznie wywoływać nowego żądania zgody OAuth. Pracownika należało również nakłonić do otwarcia złośliwego adresu URL.
Zenity poinformowało, że skuteczne przejęcie mogło zapewnić atakującemu autonomiczną obecność działającą z tożsamością ofiary, jej uprawnieniami i dostępem do połączonych aplikacji. Potencjalne nadużycia obejmowały rozpoznanie, gromadzenie danych wrażliwych, wykradanie poświadczeń, phishing wewnętrzny, podszywanie się oraz oszustwa typu business email compromise. Badacze scharakteryzowali ryzyko jako problem zaufania do agenta, a nie jako konwencjonalny, jednorazowy atak CSRF.
Według Zenity firma zgłosiła ustalenia OpenAI 4 czerwca. OpenAI potwierdziło otrzymanie zgłoszenia w ciągu jednego dnia i wdrożyło poprawkę do 8 czerwca. Ujawnienie to podkreśla potrzebę oceny agentów AI jako tożsamości programowych z trwałymi instrukcjami, harmonogramami, narzędziami i dostępem do danych przedsiębiorstwa.
Kwestie bezpieczeństwa
- Szkol użytkowników, aby traktowali nieoczekiwane linki prowadzące do narzędzi AI lub narzędzi zwiększających produktywność jako potencjalnie złośliwe.
- Przeglądaj autoryzowane konektory i ograniczaj agentów do minimalnego zakresu wymaganych uprawnień.
- Monitoruj nowo tworzone agenty, nietypowe harmonogramy, zmienione ustawienia zatwierdzania oraz nieoczekiwane transfery danych wychodzących.
- Wymagaj zatwierdzenia administracyjnego i zapewniaj lepszą widoczność autonomicznych agentów, które mogą działać w wielu aplikacjach biznesowych.
