NCSC warnt Organisationen vor einem unbedachten Einsatz agentenbasierter KI

Das britische National Cyber Security Centre fordert Organisationen auf, bei der Einführung agentenbasierter KI-Systeme vorsichtig vorzugehen. Die Technologie sollte schrittweise und erst eingesetzt werden, wenn die Sicherheitsrisiken genau verstanden wurden.

In neuen, gemeinsam mit internationalen Partnern erstellten Leitlinien erklärt das NCSC, dass agentenbasierte KI nützlich sein kann, weil sie Aufgaben planen, Entscheidungen treffen und mit begrenztem menschlichem Zutun Aktionen ausführen kann. Dieselbe Autonomie kann jedoch auch dazu führen, dass Fehler schwerer zu erkennen sind und die möglichen Auswirkungen eines Sicherheitsvorfalls zunehmen.

Warum sich diese Technologie unterscheidet

Im Gegensatz zu herkömmlichen generativen KI-Tools, die hauptsächlich Texte oder Prognosen erstellen, können agentenbasierte Systeme mit Daten interagieren, externe Tools nutzen, Kontext speichern und Ziele über mehrere Schritte hinweg verfolgen. In einigen Fällen können sie sogar Unteragenten erstellen, die Teile einer Aufgabe übernehmen. Diese größere Reichweite kann neue betriebliche und cybersicherheitsbezogene Herausforderungen schaffen.

Das NCSC erklärte, dass viele der Gefahren bereits bekannt sind, darunter unzureichende Zugriffskontrollen, unsichere Entwicklungspraktiken, Risiken in der Lieferkette und mangelnde Überwachung. Die zusätzliche Unabhängigkeit agentenbasierter KI kann jedoch dazu führen, dass ihr Verhalten schwerer vorherzusagen, zu testen und zu kontrollieren ist.

Hervorgehobene Hauptrisiken

• Breiterer Zugriff auf Systeme, Tools und Daten als bei nicht agentenbasierter KI
• Unerwartete Aktionen aufgrund mehrdeutiger Ziele oder unklarer Anweisungen
• Probleme, die sich zu schnell entwickeln, als dass Menschen sie rechtzeitig überprüfen könnten
• Größere Schwierigkeiten zu erklären, warum ein System eine bestimmte Aktion ausgeführt hat

Sicherheit an erster Stelle bei der Einführung

Die Leitlinien empfehlen Organisationen, mit kleinen Pilotprojekten zu beginnen, die sich auf Aufgaben mit geringem Risiko konzentrieren. Teams sollten außerdem prüfen, ob KI überhaupt erforderlich ist und ob ein einfacherer oder risikoärmerer Automatisierungsansatz besser geeignet wäre.

Wenn agentenbasierte KI eingesetzt wird, sollte ihr Funktionsumfang laut NCSC von vornherein begrenzt, kontinuierlich überwacht und ihr niemals uneingeschränkter Zugriff auf sensible Daten oder kritische Systeme gewährt werden. Zu den empfohlenen Kontrollen gehören temporäre Zugangsdaten, Berechtigungen nach dem Prinzip der geringsten Privilegien und sichere Standardeinstellungen.

Die Behörde betont außerdem, dass die Verantwortung des Menschen nicht an Software ausgelagert werden kann. Menschen müssen weiterhin für die Genehmigung von Zugriffen, die Überwachung des Verhaltens, die Prüfung von Vorfällen und das gegebenenfalls erforderliche Abschalten eines Systems verantwortlich sein.

Nach Angaben des NCSC ist eine Organisation nicht bereit für den Einsatz eines Agenten, wenn sie nicht nachvollziehen, eindämmen oder überwachen kann, was dieser tut.