Forschung zeigt Risiken bei der Identitätsgovernance von KI-Agenten

Neue Forschung beschreibt eine als „GhostJacking“ bezeichnete Technik, bei der Angreifer Sicherheitswarnungen und blockierte Ereignisse ausnutzen könnten, um das Verhalten von KI-Agenten zu beeinflussen. Die Ergebnisse weisen auf Schwachstellen bei der Verwaltung von Agentenidentitäten, Berechtigungen und Sicherheitssignalen hin.

KI-Agenten greifen zunehmend auf Anwendungen, Daten und automatisierte Workflows zu. Dadurch können die Systeme, die ihre Aktivitäten überwachen, zu einem wichtigen Bestandteil der Sicherheitsgrenze werden. Der Forschung zufolge könnte ein Angreifer versuchen, Warnungen oder abgelehnte Aktionen als Eingaben zu verwenden, die die Entscheidungen eines Agenten verändern und möglicherweise eine Gelegenheit bieten, dessen Betrieb zu manipulieren oder zu übernehmen.

Warum das Problem wichtig ist

Herkömmliche Identitätskontrollen sind in der Regel auf menschliche Benutzer und langfristig bestehende Dienstkonten ausgelegt. KI-Agenten hingegen können dynamisch Entscheidungen treffen, mehrere Tools aufrufen und in Echtzeit auf Ereignisse reagieren. Wenn ihre Identitäten und Berechtigungen nicht streng verwaltet werden, könnte ein Agent mehr Zugriffsrechte als nötig erhalten oder unvorhersehbar auf schädliche Signale reagieren.

Die Forschung macht deutlich, dass blockierte Aktivitäten nicht als harmlose Hintergrundgeräusche betrachtet werden sollten. Sicherheitsereignisse können auch vom Agenten selbst, von verbundenen Orchestrierungssystemen oder von anderen automatisierten Komponenten verarbeitet werden. Ohne eine klare Trennung zwischen vertrauenswürdigen Anweisungen und nicht vertrauenswürdigen Ereignisdaten könnten Angreifer möglicherweise den Kontext oder die Aktionen eines Agenten beeinflussen.

Sicherheitsaspekte

• Weisen Sie jedem Agenten eine eigene, eng begrenzte Identität zu und beschränken Sie den Zugriff auf die Tools und Daten, die er benötigt.
• Trennen Sie Sicherheitstelemetrie von Anweisungen, deren Befolgung für Agenten autorisiert ist.
• Prüfen Sie, wie Warnungen, abgelehnte Anfragen und andere externe Eingaben validiert werden, bevor sie einen Agenten erreichen.
• Überwachen Sie die Aktivitäten von Agenten auf unerwartete Berechtigungsnutzung, wiederholte blockierte Aktionen oder abrupte Verhaltensänderungen.
• Behalten Sie die menschliche Genehmigung für sensible Vorgänge bei, insbesondere bei Vorgängen im Zusammenhang mit Identitäten, Zugriffen oder irreversiblen Änderungen.

Die Ergebnisse verstärken die wachsenden Bedenken, dass die Absicherung von KI-Agenten mehr als Schutzmaßnahmen auf Modellebene erfordert. Unternehmen müssen auch Identitätsgovernance, das Prinzip der geringsten Privilegien und eine kontinuierliche Überwachung auf die Agenten sowie auf die Systeme anwenden, die diese steuern.