Zgłoszony problem bezpieczeństwa związany z AWS AgentCore zwrócił uwagę na ryzyko pozwalania agentom AI na przetwarzanie niezaufanych instrukcji, gdy mają dostęp do poświadczeń chmurowych lub wrażliwych narzędzi wewnętrznych.
Obawy koncentrują się na prompt injection, czyli klasie ataków, w których złośliwa treść jest osadzana w materiałach, które system AI ma przeczytać lub na podstawie których ma podjąć działanie. Jeśli agent potraktuje taką treść jako autoryzowaną instrukcję, może zostać nakłoniony do zażądania, ujawnienia lub niewłaściwego wykorzystania poświadczeń, zależnie od dostępnych mu uprawnień i integracji.
Dlaczego uprawnienia agentów mają znaczenie
Agenci AI mogą być skonfigurowani do pobierania danych, wywoływania interfejsów API, korzystania z narzędzi programistycznych i interakcji z usługami chmurowymi. Te możliwości mogą usprawniać automatyzację, ale tworzą również granicę bezpieczeństwa, którą należy zarządzać niezależnie od zdolności modelu do wykonywania poleceń w języku naturalnym.
Prompt, który prosi agenta o poświadczenia, nie powinien sam w sobie umożliwiać obejścia mechanizmów kontroli tożsamości. Organizacje mogą jednak być narażone na ryzyko, jeśli agenci mają dostęp do sekretów za pośrednictwem szerokich ról, zwracają użytkownikom wrażliwe wyniki działania narzędzi lub wykonują instrukcje zawarte na stronach internetowych, w zgłoszeniach, dokumentach lub innych zewnętrznych źródłach.
Zalecane mechanizmy kontroli
- Stosuj role IAM zgodne z zasadą najmniejszych uprawnień i ogranicz każdego agenta do interfejsów API oraz zasobów wymaganych do realizacji jego zadania.
- W miarę możliwości przechowuj sekrety w dedykowanych usługach zarządzania sekretami, a nie w promptach, plikach ani konfiguracji dostępnej dla agentów.
- Wymagaj wyraźnej autoryzacji i walidacji, zanim agenci wykonają wrażliwe działania lub ujawnią wyniki działania narzędzi.
- Oddzielaj zaufane instrukcje operatorów od niezaufanej pobranej treści, w tym danych zebranych z zewnętrznych stron internetowych.
- Rejestruj aktywność agentów, wywołania narzędzi i zmiany uprawnień, aby wspierać wykrywanie zagrożeń i reagowanie na incydenty.
- Testuj przepływy pracy agentów pod kątem scenariuszy prompt injection przed wdrożeniem produkcyjnym.
Incydent pokazuje, że zabezpieczenia agentów AI nie mogą opierać się wyłącznie na promptach systemowych ani regułach zachowania. Skuteczna ochrona wymaga konwencjonalnych środków bezpieczeństwa chmurowego, ograniczonego dostępu do narzędzi, ostrożnego przetwarzania zewnętrznych treści oraz monitorowania prób wpływania na zautomatyzowane przepływy pracy.
