Ubezpieczyciele i dyrektorzy ds. bezpieczeństwa informacji analizują, jak zarządzać stratami związanymi z autonomicznymi systemami AI, które działają w nieoczekiwany lub szkodliwy sposób. W miarę wdrażania przez organizacje agentów AI do automatyzacji zadań biznesowych, obsługi klienta i bezpieczeństwa rosną obawy dotyczące tego, kto ponosi odpowiedzialność, gdy systemy te podejmują szkodliwe decyzje.
Problem jest szczególnie złożony, gdy agent AI ma uprawnienia do uzyskiwania dostępu do danych wewnętrznych, interakcji z usługami podmiotów trzecich, zatwierdzania transakcji lub modyfikowania środowisk chmurowych. Błędy konfiguracji, wadliwe instrukcje, zmanipulowane dane wejściowe i niewystarczające kontrole dostępu mogą umożliwić zautomatyzowanemu systemowi wywołanie konsekwencji finansowych, operacyjnych lub dotyczących prywatności na dużą skalę.
Pytania dotyczące zakresu ochrony i odpowiedzialności
Tradycyjne polisy cyberubezpieczeniowe mogą obejmować niektóre wynikające z tego zdarzenia, takie jak naruszenia ochrony danych, przerwy w działalności lub koszty reagowania na incydenty. Ubezpieczyciele prawdopodobnie będą jednak dokładnie analizować, czy awaria związana z AI mieści się w obecnym brzmieniu polisy, czy nadzór człowieka był wystarczający oraz czy zdarzenie zostało spowodowane zaniedbaniem, wadą oprogramowania czy złośliwą manipulacją.
Organizacje mogą również mierzyć się z niepewnością co do odpowiedzialności dzielonej między dostawców modeli AI, dostawców oprogramowania, integratorów systemów i firmę obsługującą agenta. Warunki umowne, zapisy audytowe i dowody techniczne mogą stać się istotne przy ustalaniu odpowiedzialności po incydencie.
Kontrole poddawane przeglądowi
Od zespołów bezpieczeństwa coraz częściej oczekuje się wdrażania środków zarządzania przed przyznaniem agentom AI szerokich uprawnień. Typowe zabezpieczenia obejmują:
- Ograniczanie dostępu agentów za pomocą uprawnień zgodnych z zasadą najmniejszych uprawnień i segmentowanych środowisk.
- Wymaganie zatwierdzenia przez człowieka dla działań o dużym wpływie, w tym płatności, zmian w środowisku produkcyjnym i eksportu danych.
- Rejestrowanie aktywności agentów oraz zachowywanie dowodów dotyczących promptów, wywołań narzędzi i decyzji.
- Testowanie systemów pod kątem wstrzykiwania promptów, wycieku danych i niebezpiecznego użycia narzędzi.
- Ustanowienie jasnych procedur reagowania na incydenty w celu wyłączania lub ograniczania zautomatyzowanych przepływów pracy.
Dla ubezpieczycieli silniejsze mechanizmy kontroli mogą stać się czynnikiem wpływającym na ocenę ryzyka ubezpieczeniowego i ustalanie cen w miarę rozszerzania zastosowania autonomicznej AI. Dla CISO wyzwaniem jest umożliwienie wzrostu produktywności przy jednoczesnym zapewnieniu, że systemy AI pozostają obserwowalne, ograniczone i rozliczalne.
