Unternehmen, die selbst gehostete KI-Modelle und autonome Agenten einsetzen, haben möglicherweise eine direktere Kontrolle über ihre Infrastruktur als Nutzer verwalteter Dienste. Jüngste Bedenken hinsichtlich des Modellverhaltens unterstreichen jedoch, dass das interne Hosting eines Systems keine zuverlässige Einhaltung von Geschäftsregeln garantiert.
KI-Agenten können so konfiguriert werden, dass sie Aufgaben ausführen, Tools nutzen, auf interne Daten zugreifen und innerhalb definierter Workflows Entscheidungen treffen. Diese Fähigkeiten können jedoch auch operative und Sicherheitsrisiken schaffen, wenn ein Modell Anweisungen missversteht, widersprüchlichen Prompts folgt, unzuverlässige Ergebnisse erzeugt oder Maßnahmen außerhalb seines vorgesehenen Umfangs ergreift.
Die gemeldeten Vorfälle im Zusammenhang mit Qwen weisen auf ein übergeordnetes Problem für Unternehmen hin: Die Bereitstellung von Modellen erfordert Kontrollen, die über die Erstkonfiguration hinausgehen. Teams benötigen Möglichkeiten, um zu überprüfen, dass ein Agent auch nach Updates, Änderungen an verbundenen Tools oder dem Kontakt mit nicht vertrauenswürdigen Eingaben weiterhin genehmigte Anweisungen befolgt.
Kontrollen für selbst gehostete Modelle
- Wenden Sie das Prinzip der geringsten Rechte auf Agenten-Tools, Anmeldedaten und Datenquellen an.
- Fordern Sie Genehmigungsschritte für sensible Maßnahmen wie Finanztransaktionen, Systemänderungen oder Datenexporte.
- Trennen Sie vertrauenswürdige Systemanweisungen von nutzerbereitgestellten und extern abgerufenen Inhalten.
- Testen Sie Modelle vor dem Produktionseinsatz gegen Prompt-Injection-Versuche, widersprüchliche Anweisungen und andere adversariale Eingaben.
- Protokollieren Sie Entscheidungen von Agenten, Tool-Aufrufe und Richtlinienverstöße, um Monitoring und Incident Response zu unterstützen.
- Legen Sie Ratenbegrenzungen, Ausgabenlimits und eindeutige Abbruchbedingungen für automatisierte Workflows fest.
Steuerungsmechanismen können Richtlinienfilter, eingeschränkte Tool-Schnittstellen, Kontrollen für den Datenabruf und unabhängige Validierungssysteme umfassen, die vorgeschlagene Maßnahmen vor ihrer Ausführung prüfen. Diese Maßnahmen sollten als Teil eines fortlaufenden Sicherheitsprogramms und nicht als einmalige Bereitstellungsaufgabe behandelt werden.
Unternehmen sollten außerdem klare Verantwortlichkeiten für das Verhalten von Agenten festlegen, einschließlich Prozessen zur Überprüfung von Modelländerungen, zur Untersuchung unerwarteter Aktionen und zur schnellen Deaktivierung von Integrationen, wenn dies erforderlich ist. Da KI-Systeme Zugriff auf immer mehr Geschäftsprozesse erhalten, wird die Fähigkeit, Grenzen durchzusetzen und Ergebnisse zu validieren, ebenso wichtig sein wie die Fähigkeiten des zugrunde liegenden Modells.
