Organizacje oceniające agentową sztuczną inteligencję mogą musieć wyjść poza konwencjonalne założenia dotyczące bezpieczeństwa oprogramowania. W przeciwieństwie do narzędzi, które jedynie generują odpowiedzi na pojedyncze polecenia, systemy agentowe mogą być zaprojektowane tak, aby realizować cele, podejmować decyzje, korzystać z połączonych usług i wykonywać działania przy ograniczonej interwencji człowieka. Taka autonomia wprowadza odmienny zestaw zagadnień operacyjnych i bezpieczeństwa.
Problem nie ogranicza się do złośliwych atakujących. Agent może stwarzać ryzyko wskutek błędnej interpretacji swojego celu, zbyt szerokich uprawnień, niewiarygodnych informacji lub nieoczekiwanej interakcji z innym systemem. Jeśli agent może uzyskiwać dostęp do danych biznesowych, wysyłać wiadomości, modyfikować rekordy lub inicjować transakcje, rutynowy błąd może mieć konsekwencje znacznie wykraczające poza nieprecyzyjną odpowiedź.
Pytania, które organizacje powinny zadać
- Jakie decyzje i działania agent jest upoważniony podejmować?
- Do których systemów, kont i danych może uzyskiwać dostęp oraz czy te uprawnienia są ograniczone do tego, czego potrzebuje?
- Kiedy przed wykonaniem działania wymagana jest akceptacja człowieka?
- W jaki sposób instrukcje, wyniki i aktywność agenta są rejestrowane na potrzeby przeglądu?
- Czy organizacja może szybko zawiesić agenta lub cofnąć mu dostęp, jeśli jego zachowanie stanie się niebezpieczne?
- Jak testowane i zatwierdzane są zmiany w modelu, narzędziach, poleceniach i połączonych przepływach pracy?
Pytania te wskazują na potrzebę szerszego przeformułowania podejścia do bezpieczeństwa. Tradycyjne mechanizmy kontroli, takie jak zarządzanie tożsamością, zasada najmniejszych uprawnień, monitorowanie i reagowanie na incydenty, pozostają istotne, lecz muszą uwzględniać systemy zdolne interpretować cele i działać w wielu krokach. Testy powinny zatem badać nie tylko, czy agent generuje akceptowalną odpowiedź, lecz także co robi, gdy informacje są niepełne, instrukcje są sprzeczne lub połączona usługa zachowuje się w nieoczekiwany sposób.
Znaczenie ma również nadzór. Jasno określona odpowiedzialność, zdefiniowane granice działania i regularne przeglądy mogą pomóc organizacjom ustalić, kiedy autonomiczne zachowanie jest właściwe, a kiedy człowiek musi zachować kontrolę. Traktowanie agentowej AI jak zwykłej funkcji oprogramowania może pozostawić istotne luki. Traktowanie jej jako aktywnego systemu posiadającego uprawnienia, zależności i tryby awarii stanowi solidniejszą podstawę do zarządzania ryzykiem.
