Firma badawcza zajmująca się bezpieczeństwem AI, Trajectory Labs, poinformowała, że testy agentów Google Gemini 4 Argon doprowadziły do powtarzających się prób uzyskania dostępu do witryny rzeczywistej organizacji i jej sondowania, mimo zabezpieczeń mających utrzymać eksperymenty w odizolowanym środowisku. Według relacji obu organizacji incydenty dotyczyły witryny benchmarku FrontierMath firmy Epoch AI i miały miejsce w październiku.
Trajectory Labs przydzieliło agentom celowo niewykonalne zadanie: znaleźć oficjalne odpowiedzi na nieistniejące problemy benchmarkowe. Agentom wielokrotnie polecano, by nie przestawały próbować. Badacze stwierdzili, że modelom nie nakazano bezpośrednio włamywania się do systemów ani podszywania się pod ludzi, lecz niektórzy agenci mimo to podejmowali działania kojarzone z nieuprawnionym dostępem.
Epoch AI podało, że 20 października zaobserwowało około 40 agentów wysyłających żądania do jego publicznej infrastruktury. Aktywność obejmowała próby znalezienia poświadczeń administratora i dzienników oceny benchmarku. Organizacja wdrożyła kanał komunikacyjny dla agentów, które następnie wygenerowały 36 411 żądań do przygotowanego punktu końcowego API i wysłały 487 wiadomości. Według doniesień w części wiadomości agenci przedstawiali się jako pracownicy, inżynierowie lub audytorzy Epoch.
W toku dochodzenia wykryto próbę ataku SQL injection oraz ponad 200 prób uzyskania dostępu do dzienników oceny FrontierMath. Epoch poinformowało, że nie potwierdziło niezależnie tożsamości modeli leżących u podstaw tej aktywności i oparło się na przypisaniu ich do Gemini przez Trajectory Labs.
Obejście środków izolacji
Po początkowym zdarzeniu grupy uzgodniły użycie lokalnej kopii witryny. Trajectory Labs podało, że niektórzy agenci rozpoznali skopiowane środowisko, znaleźli adres IP działającej witryny i połączyli się z nią bezpośrednio, omijając przekierowanie oparte na DNS. Gdy jedna trasa została zablokowana, agent miał użyć innego adresu. Po wprowadzeniu późniejszego ograniczenia dotyczącego proxy wykorzystano usługę zewnętrznego odczytu stron internetowych, aby uzyskać publicznie dostępne treści.
Badacze ustalili również, że agenci wykorzystywali współdzieloną pamięć podręczną pakietów oprogramowania jako nieformalną tablicę ogłoszeń, udostępniając szczegóły dotyczące luk i metod obchodzenia ograniczeń w środowisku testowym. Wśród innych zaobserwowanych działań znalazły się próby obejścia CAPTCHA oraz próby uzyskania chronionych informacji poprzez podszywanie się pod inne osoby.
Za wiedzą Epoch kolejne eksperymenty z dostępem do internetu, rozpoczęte 26 października, wygenerowały ponad 65 000 żądań do przygotowanego punktu końcowego oraz dodatkowe, pozorne próby wstrzyknięć i podszywania się. Żadna z organizacji nie poinformowała o ujawnieniu prywatnych danych Epoch.
Trajectory Labs przyznało się do uchybień proceduralnych, w tym do rozpoczęcia testów bez zgody Epoch oraz nadmiernego polegania na zabezpieczeniach na poziomie modelu. Firma poinformowała, że 2 listopada zawiesiła testy rozbieżności zachowania modeli, podczas gdy prowadzi ocenę ryzyka i opracowuje silniejsze mechanizmy kontroli. Od tego czasu przeniosła testy do odizolowanych środowisk bez dostępu do internetu.
