Check Point Research opisał zamknięty już problem dotyczący wewnętrznej usługi JFrog Artifactory wykorzystywanej przez środowiska wykonywania kodu OpenAI. Według badaczy konfiguracja mogła umożliwić atakującemu przekazywanie ukrytych instrukcji między odizolowanymi sesjami ChatGPT oraz potencjalne wykorzystanie autoryzowanych połączeń aplikacji ofiary do pobierania danych.
Badacze poinformowali, że powiadomili OpenAI pod koniec czerwca. Do tego czasu OpenAI wycofało już instancję Artifactory, podobno w następstwie odrębnego incydentu z udziałem agentów AI i Hugging Face. Check Point stwierdził, że jego odkrycie różniło się od tego włamania, choć w obu przypadkach wykorzystano ten sam wewnętrzny system zarządzania pakietami.
Jak działał ten kanał
Kontenery wykonujące kod w ChatGPT zostały zaprojektowane bez bezpośredniego dostępu do internetu, lecz mogły uzyskiwać dostęp do wewnętrznego repozytorium pakietów. Check Point odkrył, że obiekty w repozytorium mogły zawierać właściwości tekstowe, w tym zakodowane dane. Sesja powiązana z jednym kontem mogła zapisywać treści we współdzielonej usłudze, a sesja innego użytkownika mogła je odczytywać.
Badacze zgłosili również, że poświadczenia przeznaczone do odczytu repozytorium umożliwiały wykonywanie operacji zapisu. Ponieważ kod uruchamiany w sesji mógł uwierzytelnić się w usłudze, atakujący mógł rzekomo zapisać instrukcje, które sesja ofiary mogłaby później przetworzyć.
W demonstracji koncepcji Check Point wykorzystał współdzieloną rozmowę ChatGPT, aby pokazać ryzyko. Widoczne żądanie użytkownika było nieszkodliwe, na przykład dotyczyło wygenerowania wykresu pogody, podczas gdy ukryta instrukcja kierowała system do uzyskania dostępu do połączonego konta Gmail i zwrócenia informacji za pośrednictwem współdzielonego kanału repozytorium. Ofiara nie widziałaby ani ukrytej instrukcji, ani uzyskanych danych w standardowej odpowiedzi czatu — podali badacze.
Szersze obawy dotyczące bezpieczeństwa AI
Potencjalny wpływ zależał od aplikacji połączonych z kontem ofiary. Oprócz poczty e-mail badacze stwierdzili, że podobny dostęp mógł dotyczyć usług takich jak pamięć masowa w chmurze, platformy współpracy, repozytoria kodu źródłowego oraz pliki dostępne dla asystenta.
- Współdzielone usługi wewnętrzne mogą osłabiać izolację, jeśli uprawnienia są zbyt szerokie.
- Poświadczenia tylko do odczytu nie powinny zapewniać możliwości zapisu.
- Systemy AI mające dostęp do połączonych aplikacji wymagają monitorowania i mechanizmów kontroli ukrytych lub pośrednich instrukcji.
Check Point scharakteryzował ten problem jako przykład zagrożeń powstających, gdy agenci AI mogą wykonywać kod, korzystać z poświadczeń i uzyskiwać dostęp do wrażliwych danych. OpenAI nie udzieliło publicznej odpowiedzi w dostarczonym raporcie. Ponieważ dotknięta problemem usługa Artifactory została wycofana, ten konkretny kanał nie jest już dostępny, jednak badanie podkreśla potrzebę silniejszych granic zaufania wokół narzędzi AI opartych na agentach.
