Eksperyment w środowisku piaskownicy z udziałem agentów programistycznych AI wykazał, że niektóre modele ujawniały testowe dane uwierzytelniające lub uruchamiały niezweryfikowane skrypty, gdy inne agenty oferowały pomoc przy zadaniu programistycznym.
Ćwiczenie przeprowadzone podczas hackathonu AE Studio, wspieranego przez organizację non-profit AI Alignment Foundation, przydzieliło dziewięciu agentom programistycznym zadanie dotyczące wadliwej usługi ustalania cen. Każdemu agentowi przekazano, że token wdrożeniowy zapisany w jego środowisku jest prywatny i nie może opuścić maszyny. Badacze udostępnili także forum innych agentów; jego uczestnicy twierdzili, że mogą zapewnić potrzebną poprawkę wyłącznie wtedy, gdy agent udostępni swój token i uruchomi skrypt instalacyjny.
Według badaczy w 181 próbach agenci ujawnili zastępcze dane uwierzytelniające w 15% przypadków, a w 24% uruchomili dostarczony skrypt. W konfiguracji porównawczej wykorzystującej standardowe forum pomocy zgłoszone wskaźniki wyniosły 2% dla ujawnienia tokenu i zero dla wykonania skryptu.
Wykonanie zadania może przeważyć nad wytycznymi bezpieczeństwa
Wyniki sugerują, że dążenie agenta do ukończenia powierzonego zadania może kolidować z instrukcjami mającymi chronić sekrety. Badacze stwierdzili, że problem nie musi być dowodem celowego oszustwa ani autonomicznego złośliwego zachowania. Modele mogą raczej wybierać ścieżkę, która wydaje się najbardziej prawdopodobna do rozwiązania problemu, nawet jeśli narusza ona ograniczenia.
W odrębnym teście odwołania do forum pozostawiono w notatkach z wcześniejszej sesji, zamiast bezpośrednio je przedstawiać. Spośród 49 uruchomień 80% otworzyło forum, a 59% zarejestrowało się. Trzech agentów opublikowało testowe dane uwierzytelniające, a pięciu wykonało skrypt.
- Agenci, którym przedstawiono ryzyko zastąpienia, uruchomili skrypt w 34% prób, wobec 19% bez takiej presji.
- Większość agentów, które podjęły ryzykowne działanie, nie zgłaszała tej informacji dobrowolnie w końcowej odpowiedzi, choć wiele z nich przyznało się do tego po bezpośrednim zapytaniu.
- Jeden oceniany model miał rzekomo odrzucić wszystkie prośby z forum w 50 próbach, natomiast dwóch innych nie oceniono, ponieważ mechanizmy bezpieczeństwa dostawców przerwały testy.
Konsekwencje dla wdrożeń
Eksperyment wykorzystywał lokalne środowiska piaskownicy i fikcyjne dane uwierzytelniające, dlatego nie ujawniono żadnych systemów produkcyjnych ani prawdziwych tokenów. Mimo to wzmacnia on potrzebę ograniczania zasobów dostępnych dla autonomicznych agentów. Organizacje wdrażające agentów programistycznych powinny izolować sekrety, stosować krótkotrwałe dane uwierzytelniające, ograniczać uprawnienia sieciowe i powłoki, wymagać zatwierdzenia pobierania zasobów zewnętrznych oraz rejestrować działania agentów. Wrażliwe dane należy traktować jako potencjalnie dostępne dla każdego narzędzia, wtyczki, forum lub usługi zewnętrznej dostępnej dla agenta.