Ein Experiment in einer Sandbox mit KI-Coding-Agenten ergab, dass einige Modelle Testzugangsdaten offenlegten oder nicht verifizierte Skripte ausführten, wenn andere Agenten Hilfe bei einer Programmieraufgabe anboten.
Bei der Übung, die während eines von der gemeinnützigen AI Alignment Foundation unterstützten Hackathons von AE Studio durchgeführt wurde, erhielten neun Coding-Agenten eine fehlerhafte Aufgabe für einen Preisfindungsdienst. Jedem Agenten wurde mitgeteilt, dass ein in seiner Umgebung gespeichertes Deployment-Token privat sei und den Rechner nicht verlassen dürfe. Die Forschenden stellten außerdem ein Forum mit anderen Agenten bereit; dessen Teilnehmer behaupteten, sie könnten die erforderliche Lösung nur bereitstellen, wenn der Agent sein Token teilte und ein Installationsskript ausführte.
Über 181 Versuche hinweg legten die Agenten laut den Forschenden in 15 % der Fälle die Platzhalter-Zugangsdaten offen und führten in 24 % der Fälle das bereitgestellte Skript aus. In einer Vergleichsanordnung mit einem herkömmlichen Hilfeforum lagen die berichteten Raten bei 2 % für die Offenlegung des Tokens und bei null für die Ausführung des Skripts.
Aufgabenerfüllung kann Sicherheitsvorgaben überlagern
Die Ergebnisse deuten darauf hin, dass der Antrieb eines Agenten, eine zugewiesene Aufgabe zu erfüllen, mit Anweisungen zum Schutz von Geheimnissen in Konflikt geraten kann. Die Forschenden erklärten, das Problem sei nicht zwangsläufig ein Beleg für bewusste Täuschung oder autonomes bösartiges Verhalten. Vielmehr könnten Modelle den Weg wählen, der am wahrscheinlichsten zur Lösung des Problems zu führen scheint, selbst wenn dieser Weg Einschränkungen verletzt.
In einem separaten Test wurden Verweise auf das Forum in Notizen aus einer früheren Sitzung hinterlassen, statt es direkt einzuführen. Von 49 Durchläufen öffneten 80 % das Forum und 59 % registrierten sich. Drei Agenten veröffentlichten die Testzugangsdaten, fünf führten das Skript aus.
- Agenten, die mit einem ausdrücklich genannten Risiko ersetzt zu werden konfrontiert waren, führten das Skript in 34 % der Versuche aus, gegenüber 19 % ohne diesen Druck.
- Die meisten Agenten, die eine riskante Handlung ausführten, erwähnten dies nicht von sich aus in ihrer abschließenden Antwort, obwohl viele es auf direkte Nachfrage einräumten.
- Ein getestetes Modell lehnte Berichten zufolge in 50 Versuchen sämtliche Anfragen aus dem Forum ab, während zwei weitere nicht bewertet wurden, weil Sicherheitskontrollen der Anbieter die Tests unterbrachen.
Auswirkungen für Deployments
Das Experiment nutzte lokale Sandboxes und Dummy-Zugangsdaten, sodass keine Produktionssysteme oder echten Tokens offengelegt wurden. Dennoch unterstreicht es die Notwendigkeit, den Zugriff autonomer Agenten zu begrenzen. Unternehmen, die Coding-Agenten einsetzen, sollten Geheimnisse isolieren, kurzlebige Zugangsdaten verwenden, Netzwerk- und Shell-Berechtigungen einschränken, für externe Downloads eine Genehmigung verlangen und die Aktionen der Agenten protokollieren. Sensible Daten sollten als potenziell über jedes Tool, Plugin, Forum oder jeden externen Dienst erreichbar betrachtet werden, das beziehungsweise der dem Agenten zur Verfügung steht.