Sicherheitsforscher von Check Point zufolge besteht das Hauptrisiko in vielen KI-Agentensystemen nicht allein in Prompt-Injection-Angriffen, sondern darin, wie Agenten-Frameworks Inhalte verarbeiten, die ein Angreifer beeinflussen kann. Ihre auf der Black Hat vorgestellten Erkenntnisse umfassen 11 Schwachstellen in mehreren weit verbreiteten Entwicklungsplattformen.
Die ein Jahr dauernde Untersuchung umfasste LangChain, LangGraph, CrewAI, AutoGen, Microsoft Agent Framework und Googles Agent Development Kit (ADK). Den Forschern zufolge können die betroffenen Produkte nicht vertrauenswürdigen Text oder Dateien in vertrauenswürdige Funktionen einschleusen, die für Orchestrierung, Speicher, Routing und Zustandsverwaltung zuständig sind.
Yarden Porat und Shahar Tal erklärten, dass es bei den Schwachstellen größtenteils um etablierte Sicherheitsprobleme und nicht um neuartige KI-spezifische Techniken ging. Zu den gemeldeten Kategorien gehörten unsichere Deserialisierung, serverseitige Anforderungsfälschung (SSRF), Pfad-Traversal und Use-after-free-Probleme. Anlass zur Sorge gibt ihnen, dass diese Schwachstellen nun in Software auftreten, die Geschäftsdokumente lesen, auf Cloud-Anmeldedaten zugreifen oder Unternehmensdaten ändern kann.
Schwachstelle in Checkpoint ermöglichte Codeausführung
Bei einem kritischen Problem im Microsoft Agent Framework ging es um Checkpoint-Daten. Checkpoints bewahren den Fortschritt und den Gesprächsverlauf eines Agenten auf, damit eine Sitzung später fortgesetzt werden kann. Check Point zufolge konnte ein Angreifer durch Prompts gesteuerte Inhalte verwenden, um eine schädliche Payload in einem Checkpoint zu platzieren, die aktiviert werden konnte, wenn eine andere Sitzung diesen Zustand wiederherstellte.
Microsoft bestätigte den Bericht, zahlte eine Prämie von 10.000 US-Dollar und veröffentlichte Schutzmaßnahmen, die den demonstrierten Angriffsweg blockieren sollen. Das Unternehmen fügte außerdem Formulierungen hinzu, die die Sicherheitsgrenze für die betroffene Checkpoint-Datei klarstellen. Eine CVE-Nummer wurde nicht vergeben, da das Framework zum Zeitpunkt der Meldung noch nicht allgemein verfügbar war.
Gefährdung von Google ADK
Check Point meldete außerdem eine Schwachstelle im integrierten Entwicklungsassistenten von Google ADK. Die Forscher erklärten, dass eine nicht authentifizierte HTTP-Schnittstelle dazu verwendet werden konnte, einen Agenten mit Python-Code zu erstellen und auszuführen, der während des Imports ausgeführt wird. Bei einer standardmäßigen Bereitstellung in Cloud Run konnte der daraus resultierende Prozess ihrer Darstellung zufolge auf Umgebungsvariablen mit Schlüsseln und das Google-Cloud-Dienstkonto des Containers zugreifen.
Google wies die Einstufung des Problems laut Check Point zunächst zurück, zahlte später jedoch eine Prämie von 3.133,70 US-Dollar und setzte eine teilweise Behebung um. Die Forscher erklärten, dass sich ihre gesamten Prämien auf 17.133,70 US-Dollar beliefen.
Die übergreifende Schlussfolgerung von Check Point lautet, dass Organisationen davon ausgehen sollten, dass Prompt-Injection-Versuche stattfinden werden. Sie sollten sich darauf konzentrieren, sicherzustellen, dass eingeschleuste Inhalte nicht vertrauenswürdige Daten bleiben und nicht die Kontrolllogik des Frameworks beeinflussen.