Według analizy firmy PromptArmor, zajmującej się bezpieczeństwem AI, integracje umożliwiające asystentom AI dostęp do usług takich jak Gmail, Slack, Dropbox czy Zoom mogą znacząco zwiększać ryzyko bezpieczeństwa związane z systemami agentowymi.
Obawy koncentrują się na połączeniu prywatnych informacji, niezaufanych treści oraz możliwości komunikowania się na zewnątrz — wzorcu określanym czasem jako „śmiercionośna triada”. Konektory mogą zapewniać agentowi dostęp do wszystkich trzech elementów, a jednocześnie wprowadzać dodatkowe narzędzia, uprawnienia i dostawców usług, których organizacje mogły nie ocenić.
Możliwości szybko się zmieniały
PromptArmor przeanalizował konektory używane przez ChatGPT firmy OpenAI oraz Claude firmy Anthropic. Firma poinformowała, że 931 z 2517 konektorów, czyli 37 procent, zmieniło się w sześciotygodniowym okresie od połowy maja do końca czerwca. Zmiany obejmowały 1686 nowo dodanych narzędzi oraz 1127 zmodyfikowanych opisów narzędzi.
Takie aktualizacje mogą zmieniać zakres działań dostępnych dla agenta oraz wpływać na to, kiedy model zdecyduje się wywołać narzędzie. W raporcie jako przykład wskazano Dropbox: liczba narzędzi w jego konektorze wzrosła podczas badania z ośmiu do 24. Liczba narzędzi umożliwiających zapis zwiększyła się z trzech do 10, natomiast liczba narzędzi potencjalnie destrukcyjnych wzrosła z zera do czterech. Zmieniły się również zakresy uprawnień i instrukcje przeznaczone dla modelu.
Konektory mogą wywoływać inne usługi AI
Analiza wykazała także, że konektory mogą przekazywać informacje dodatkowym dostawcom AI. PromptArmor przeanalizował 7517 narzędzi w 487 konektorach Claude i oszacował, że 189 konektorów — mniej więcej dwa na pięć — prawdopodobnie kontaktowało się z zewnętrznymi usługami AI.
Na przykład żądanie wyszukania spotkania wysłane przez konektor Zoom może zostać przetworzone przez systemy AI Zoom oraz podwykonawców przetwarzających dane. Oznacza to, że organizacja zatwierdzająca Claude lub konektor może nie zdawać sobie sprawy, że dane są przekazywane do innych modeli, dostawców lub jurysdykcji na podstawie odrębnych zasad i warunków umownych.
Dokumentacja Anthropic wskazuje, że połączone usługi przetwarzają informacje we własnej infrastrukturze. Mechanizmy kontroli określające, gdzie sam Claude wykonuje inferencję, niekoniecznie ograniczają te usługi stron trzecich.
Zespoły ds. bezpieczeństwa mogą ograniczyć ekspozycję, tworząc inwentaryzację narzędzi i uprawnień konektorów, monitorując zmiany, analizując podmioty przetwarzające dane w dalszym łańcuchu oraz ograniczając dostęp do danych wrażliwych i działań o dużym wpływie. Ustalenia podkreślają również potrzebę traktowania konektorów jako ewoluujących zależności programistycznych, a nie stałych funkcji.
