Agentische KI erfordert einen neuen Sicherheitsansatz

Organisationen, die agentische künstliche Intelligenz bewerten, müssen möglicherweise über herkömmliche Annahmen zur Softwaresicherheit hinausblicken. Anders als Tools, die lediglich Antworten auf einzelne Eingaben generieren, können agentische Systeme darauf ausgelegt sein, Ziele zu verfolgen, Entscheidungen zu treffen, verbundene Dienste zu nutzen und mit begrenztem menschlichem Eingreifen Aktionen durchzuführen. Diese Autonomie bringt eine andere Reihe operativer und sicherheitsbezogener Herausforderungen mit sich.

Das Problem beschränkt sich nicht auf böswillige Angreifer. Ein Agent kann durch eine falsche Interpretation seines Ziels, eine zu weitreichende Berechtigung, unzuverlässige Informationen oder eine unerwartete Interaktion mit einem anderen System Risiken schaffen. Wenn ein Agent auf Geschäftsdaten zugreifen, Nachrichten versenden, Datensätze ändern oder Transaktionen einleiten kann, könnte ein routinemäßiger Fehler Folgen haben, die weit über eine ungenaue Antwort hinausgehen.

Fragen, die Organisationen stellen sollten

• Welche Entscheidungen und Aktionen darf der Agent treffen beziehungsweise durchführen?
• Auf welche Systeme, Konten und Daten kann er zugreifen, und sind diese Berechtigungen auf das Notwendige beschränkt?
• Wann ist eine menschliche Genehmigung erforderlich, bevor eine Aktion abgeschlossen wird?
• Wie werden die Anweisungen, Ausgaben und Aktivitäten des Agenten zur Überprüfung aufgezeichnet?
• Kann die Organisation den Agenten schnell deaktivieren oder seinen Zugriff widerrufen, wenn sein Verhalten unsicher wird?
• Wie werden Änderungen am Modell, an Tools, Prompts und verbundenen Workflows getestet und genehmigt?

Diese Fragen weisen auf eine umfassendere Neuausrichtung der Sicherheit hin. Herkömmliche Kontrollen wie Identitätsmanagement, das Prinzip der geringsten Privilegien, Überwachung und Reaktion auf Sicherheitsvorfälle bleiben relevant. Sie müssen jedoch Systeme berücksichtigen, die Ziele interpretieren und über mehrere Schritte hinweg handeln können. Tests sollten daher nicht nur prüfen, ob ein Agent eine akzeptable Antwort erzeugt, sondern auch, was er tut, wenn Informationen unvollständig sind, Anweisungen miteinander in Konflikt stehen oder sich ein verbundener Dienst unerwartet verhält.

Auch Governance ist von Bedeutung. Klare Zuständigkeiten, definierte Betriebsgrenzen und regelmäßige Überprüfungen können Organisationen dabei helfen zu bestimmen, wann autonomes Verhalten angemessen ist und wann ein Mensch die Kontrolle behalten muss. Wer agentische KI wie eine gewöhnliche Softwarefunktion behandelt, riskiert wichtige Lücken. Sie als aktives System mit Befugnissen, Abhängigkeiten und Fehlermöglichkeiten zu betrachten, schafft eine bessere Grundlage für den Umgang mit ihren Risiken.