Ein gemeldetes Sicherheitsproblem im Zusammenhang mit AWS AgentCore hat die Aufmerksamkeit auf die Risiken gelenkt, wenn KI-Agenten nicht vertrauenswürdige Anweisungen verarbeiten dürfen, während sie Zugriff auf Cloud-Zugangsdaten oder sensible interne Tools haben.
Im Mittelpunkt der Sorge steht Prompt Injection, eine Angriffsklasse, bei der bösartige Inhalte in Material eingebettet werden, das ein KI-System lesen oder bearbeiten soll. Wenn ein Agent diese Inhalte als autorisierte Anweisung behandelt, könnte er je nach verfügbaren Berechtigungen und Integrationen dazu gebracht werden, Zugangsdaten anzufordern, offenzulegen oder missbräuchlich zu verwenden.
Warum Agentenberechtigungen wichtig sind
KI-Agenten können so konfiguriert werden, dass sie Daten abrufen, APIs aufrufen, Entwicklungstools nutzen und mit Cloud-Diensten interagieren. Diese Funktionen können die Automatisierung verbessern, schaffen jedoch auch eine Sicherheitsgrenze, die unabhängig von der Fähigkeit des Modells, Anweisungen in natürlicher Sprache zu befolgen, verwaltet werden muss.
Eine Eingabeaufforderung, die einen Agenten nach Zugangsdaten fragt, sollte für sich genommen keine Identitätskontrollen außer Kraft setzen können. Unternehmen können jedoch gefährdet sein, wenn Agenten über weitreichende Rollen auf Geheimnisse zugreifen können, sensible Tool-Ausgaben an Nutzer zurückgeben oder Anweisungen befolgen, die in Webseiten, Tickets, Dokumenten oder anderen externen Quellen enthalten sind.
Empfohlene Kontrollen
- Wenden Sie IAM-Rollen nach dem Prinzip der minimalen Rechte an und beschränken Sie jeden Agenten auf die APIs und Ressourcen, die für seine Aufgabe erforderlich sind.
- Speichern Sie Geheimnisse nach Möglichkeit in dedizierten Secret-Management-Diensten statt in Eingabeaufforderungen, Dateien oder für Agenten lesbaren Konfigurationen.
- Fordern Sie eine ausdrückliche Autorisierung und Validierung, bevor Agenten sensible Aktionen ausführen oder Tool-Ergebnisse offenlegen.
- Trennen Sie vertrauenswürdige Anweisungen von Bedienern von nicht vertrauenswürdigen abgerufenen Inhalten, einschließlich Daten, die von externen Websites gesammelt wurden.
- Protokollieren Sie Agentenaktivitäten, Tool-Aufrufe und Berechtigungsänderungen, um Erkennung und Reaktion auf Sicherheitsvorfälle zu unterstützen.
- Testen Sie Agenten-Workflows vor der Bereitstellung in der Produktion auf Prompt-Injection-Szenarien.
Der Vorfall verdeutlicht, dass Schutzmaßnahmen für KI-Agenten nicht ausschließlich auf System-Prompts oder Verhaltensregeln beruhen können. Wirksamer Schutz erfordert herkömmliche Cloud-Sicherheitsmaßnahmen, eingeschränkten Tool-Zugriff, einen sorgfältigen Umgang mit externen Inhalten sowie die Überwachung von Versuchen, automatisierte Workflows zu beeinflussen.