Brytyjskie Narodowe Centrum Cyberbezpieczeństwa (NCSC) apeluje do organizacji o stosowanie wielowarstwowych zabezpieczeń podczas wdrażania systemów agentowej sztucznej inteligencji, które mogą podejmować decyzje i wykonywać działania przy ograniczonej interwencji człowieka.
W tymczasowych wytycznych agencja stwierdza, że autonomiczna AI może zwiększać produktywność poprzez automatyzację złożonych przepływów pracy, ale ostrzega, że błędy mogą prowadzić do działania systemów poza ich zamierzonym zakresem, uzyskiwania dostępu do niewłaściwych informacji lub wykonywania nieautoryzowanych zadań. Porady są skierowane do projektantów i operatorów budujących środowiska, w których agenci AI mogą wchodzić w interakcje z narzędziami, danymi i systemami biznesowymi.
Dostosuj autonomię do ryzyka
NCSC zaleca, aby najpierw określić, jaki poziom autonomii jest rzeczywiście potrzebny. Agent przedstawiający rekomendacje lub wykonujący ściśle ograniczone zadania o niewielkim wpływie wiąże się z innym profilem ryzyka niż agent, który może modyfikować systemy produkcyjne lub podejmować decyzje o istotnych konsekwencjach bez zatwierdzenia. Wraz ze wzrostem autonomii i potencjalnego wpływu organizacje powinny stosować silniejsze mechanizmy kontroli oraz definiować rezultaty, których nie są gotowe zaakceptować.
Organizacje powinny również oceniać zabezpieczenia zapewniane przez bazowy model, usługę inferencyjną i framework agenta. Wbudowane mechanizmy ochronne mogą pomagać zapobiegać niepożądanemu zachowaniu, lecz mogą zostać ominięte albo okazać się niewystarczające w środowiskach o wyższym ryzyku. Ochronę na poziomie modelu należy zatem traktować jako punkt wyjścia, a nie kompletną strategię bezpieczeństwa.
Wielowarstwowe kontrole operacyjne
Wytyczne podkreślają znaczenie modelowania zagrożeń przed wdrożeniem, w tym dokumentowania dozwolonych działań agenta i wyraźnych granic. Starannie zaprojektowane prompty, odpowiednie punkty zatwierdzania przez człowieka oraz dodatkowe zabezpieczenia techniczne — takie jak klasyfikatory lub deterministyczne kontrole — mogą pomóc zapobiegać niebezpiecznym działaniom.
Zalecane jest solidne środowisko sandbox w celu ograniczenia dostępu agenta do sieci, poświadczeń, plików i innych systemów. Organizacje powinny rejestrować i audytować aktywność, monitorować agentów za pośrednictwem istniejących procesów operacji bezpieczeństwa oraz zapewniać możliwość przypisania działań konkretnemu agentowi, użytkownikowi lub kontu usługi. Środki te mogą wspierać dochodzenia i reagowanie, gdy zachowanie odbiega od oczekiwań.
NCSC zaleca również utrzymywanie awaryjnego mechanizmu umożliwiającego zawieszenie lub wyłączenie agenta. Procedury wyłączania powinny być testowane i zaprojektowane tak, aby pozostawały skuteczne, jeśli system działa nieprawidłowo lub zachowuje się w nieoczekiwany sposób.
Agencja opisuje zalecenia jako tymczasowe porady na okres opracowywania bardziej formalnych wytycznych wspólnie z partnerami z branży i środowiska badawczego. Oczekuje, że skuteczne praktyki będą się zmieniać wraz z gromadzeniem dowodów dotyczących autonomicznych systemów AI.
