Sicherheitsbedenken wachsen, da KI-Systeme zunehmend Handlungsbefugnisse erhalten

Da künstliche Intelligenz über die Texterstellung hinausgeht und beginnt, Aufgaben auszuführen, warnen Sicherheitsexperten, dass das größte Risiko möglicherweise nicht allein von fehlerhaften Ausgaben ausgeht. Es kann entstehen, wenn einem System vertraut wird, eine Anweisung zu interpretieren und auszuführen, ohne dass eine unabhängige Kontrolle zwischen diesen beiden Schritten erfolgt.

Herkömmliche Software trennt Entscheidungsfindung und Autorisierung in der Regel voneinander. Eine Anwendung kann eine Aktion empfehlen, während ein Benutzer, eine Richtlinien-Engine oder ein dedizierter Sicherheitsprozess entscheidet, ob diese Aktion zulässig ist. KI-Systeme, die Nachrichten lesen, auf Dateien zugreifen, externe Tools aufrufen und Daten ändern können, verwischen diese Unterscheidung. Ein Modell kann eine Anweisung falsch verstehen, in einem Dokument eingebetteten schädlichen Inhalten folgen oder durch einen Prompt-Injection-Angriff manipuliert werden.

Werden solchen Systemen weitreichende Berechtigungen eingeräumt, kann aus einem Interpretationsfehler ein operativer Sicherheitsvorfall werden. Mögliche Folgen sind der unbefugte Zugriff auf Daten, Änderungen an Geschäftsdaten, die Offenlegung vertraulicher Informationen oder Aktionen gegen verbundene Dienste. Die Gefahr wird noch größer, wenn Benutzer davon ausgehen, dass eine Konversationsschnittstelle zuverlässig ist, nur weil ihre Antworten selbstbewusst wirken.

Kontrollen bleiben unverzichtbar

Sicherheitsteams können diese Risiken reduzieren, indem sie KI-Agenten als nicht vertrauenswürdige Komponenten und nicht als autonome Mitarbeiter behandeln. Berechtigungen sollten auf das für eine bestimmte Aufgabe unbedingt erforderliche Maß beschränkt werden. Für jedes Tool sollten separate Zugangsdaten und klar definierte Grenzen gelten. Vorgänge mit weitreichenden Auswirkungen – etwa das Löschen von Daten, das Überweisen von Geld oder das Versenden externer Mitteilungen – sollten eine ausdrückliche Genehmigung erfordern.

Unternehmen sollten außerdem detaillierte Protokolle von Prompts, Tool-Aufrufen und den daraus resultierenden Aktionen führen. Überwachung kann dabei helfen, ungewöhnliches Verhalten zu erkennen, während Tests mit adversarialen Anweisungen und schädlichen Dokumenten Schwachstellen bereits vor der Einführung aufdecken können. Eine klare Trennung zwischen den Empfehlungen eines KI-Modells und den Systemen, die Änderungen autorisieren, bietet eine weitere wichtige Kontrollinstanz.

KI kann die Produktivität steigern, doch Bequemlichkeit macht etablierte Sicherheitsprinzipien nicht überflüssig. Die menschliche Überprüfung, der Zugriff nach dem Prinzip der geringsten Rechte, Validierungen und die Möglichkeit, einen automatisierten Prozess anzuhalten, bleiben wichtige Schutzmaßnahmen, wenn Modelle mit Systemen der realen Welt verbunden sind.