Das britische National Cyber Security Centre (NCSC) fordert Organisationen dazu auf, beim Einsatz agentischer Systeme künstlicher Intelligenz abgestufte Schutzmaßnahmen anzuwenden, die mit begrenztem menschlichen Eingreifen Entscheidungen treffen und Handlungen ausführen können.
In einer vorläufigen Leitlinie erklärt die Behörde, dass autonome KI die Produktivität durch die Automatisierung komplexer Arbeitsabläufe steigern kann. Sie warnt jedoch, dass Fehler dazu führen können, dass Systeme außerhalb ihres vorgesehenen Umfangs handeln, auf unangemessene Informationen zugreifen oder nicht autorisierte Aufgaben ausführen. Die Empfehlungen richten sich an Entwickler und Betreiber, die Umgebungen aufbauen, in denen KI-Agenten mit Tools, Daten und Geschäftssystemen interagieren können.
Autonomie am Risiko ausrichten
Das NCSC empfiehlt, zunächst zu entscheiden, wie viel Autonomie tatsächlich erforderlich ist. Ein Agent, der Empfehlungen abgibt oder streng eingeschränkte Aufgaben mit geringer Auswirkung ausführt, weist ein anderes Risikoprofil auf als ein Agent, der Produktionssysteme verändern oder ohne Genehmigung folgenschwere Entscheidungen treffen kann. Mit zunehmender Autonomie und potenzieller Auswirkung sollten Organisationen stärkere Kontrollen anwenden und die Ergebnisse definieren, die sie nicht zu akzeptieren bereit sind.
Organisationen sollten außerdem die Schutzmaßnahmen bewerten, die vom zugrunde liegenden Modell, dem Inferenzdienst und dem Agenten-Framework bereitgestellt werden. Integrierte Sicherheitsvorkehrungen können helfen, unerwünschtes Verhalten zu verhindern, sie können jedoch umgangen werden oder sich in Umgebungen mit höherem Risiko als unzureichend erweisen. Schutzmaßnahmen auf Modellebene sollten daher als Ausgangsbasis und nicht als vollständige Sicherheitsstrategie betrachtet werden.
Abgestufte operative Kontrollen
Die Leitlinie hebt die Bedeutung von Bedrohungsmodellierung vor der Bereitstellung hervor, einschließlich der Dokumentation der autorisierten Aktivitäten des Agenten und expliziter Grenzen. Sorgfältig entwickelte Prompts, geeignete menschliche Genehmigungspunkte und zusätzliche technische Schutzmaßnahmen – etwa Klassifikatoren oder deterministische Prüfungen – können dazu beitragen, unsichere Handlungen zu verhindern.
Empfohlen wird eine robuste Sandbox, um den Zugriff des Agenten auf Netzwerke, Anmeldedaten, Dateien und andere Systeme zu begrenzen. Organisationen sollten Aktivitäten protokollieren und prüfen, Agenten über bestehende Prozesse für Sicherheitsoperationen überwachen und Handlungen einem bestimmten Agenten, Nutzer oder Dienstkonto zuordnen können. Diese Maßnahmen können Untersuchungen und Reaktionen unterstützen, wenn das Verhalten von den Erwartungen abweicht.
Das NCSC rät außerdem dazu, einen Notfallmechanismus vorzuhalten, um einen Agenten anzuhalten oder zu deaktivieren. Abschaltverfahren sollten getestet und so konzipiert werden, dass sie auch dann wirksam bleiben, wenn das System fehlerhaft arbeitet oder unerwartet handelt.
Die Behörde bezeichnet die Empfehlungen als vorläufige Hinweise, während sie gemeinsam mit Industrie- und Forschungspartnern formellere Leitlinien entwickelt. Sie geht davon aus, dass sich wirksame Praktiken verändern werden, wenn die Erkenntnisse über autonome KI-Systeme zunehmen.
