NCSC fordert einen risikobasierten Ansatz für die KI-gestützte Softwareentwicklung

Das britische National Cyber Security Centre hat Leitlinien veröffentlicht, die Entwickler dazu ermutigen, das Schreiben von Software mit KI eher als Kontinuum denn als Entweder-oder-Entscheidung zu betrachten. Die Behörde erklärt, dass sogenanntes „Vibe Coding“ nützlich sein kann, der Grad der KI-Autonomie jedoch von der Sensibilität des zu entwickelnden Systems abhängen sollte.

KI-Tools werden inzwischen häufig eingesetzt, um aus allgemeinen Eingabeaufforderungen Code zu generieren. Nutzer überarbeiten die Ergebnisse dabei oft schrittweise, anstatt jede einzelne Zeile selbst zu schreiben. Laut NCSC kann dies die Entwicklung beschleunigen, wirft jedoch auch Fragen zu Sicherheitslücken, einer unklaren Architektur und der langfristigen Wartbarkeit auf. Da KI-Systeme anhand großer Mengen bestehenden Codes trainiert werden, können sie unsichere Muster reproduzieren, wenn Entwickler sich ohne ausreichende Prüfung auf sie verlassen.

Verschiedene Systeme bergen unterschiedliche Risiken

Nach Angaben des NCSC lautet die entscheidende Frage nicht, ob KI eingesetzt werden sollte, sondern wo sie zum Einsatz kommt und wie viel Kontrolle ausgeübt wird. Arbeiten mit geringem Risiko, etwa Machbarkeitsnachweise, interne Tools oder Mock-ups, können sich für eine stärkere Einbindung von KI eignen. Code, der dagegen Authentifizierung, sensible personenbezogene Daten, Zugangsdaten oder sicherheitskritische Funktionen verarbeitet, benötigt strengere Kontrollen.

Die Behörde beschreibt dies als ein „Vibe-Coding-Spektrum“. An einem Ende steht die traditionelle, vom Menschen geleitete Entwicklung, bei der KI durch Autovervollständigung und kleinere Vorschläge unterstützt. Am anderen Ende steht vollständige Autonomie, bei der ein KI-System Code mit minimalem menschlichem Eingreifen entwirft, schreibt und iterativ weiterentwickelt. Zwischen diesen Extremen gibt es zahlreiche hybride Ansätze, darunter KI-generierte Funktionen, eine von Menschen entwickelte Architektur und testgetriebene Arbeitsabläufe, bei denen Entwickler die Tests definieren und das Modell die Implementierung schreibt.

Kontrolle bleibt unverzichtbar

Das NCSC erklärte, dass der Einsatz von KI für wichtige Software nicht grundsätzlich ausgeschlossen werden müsse, jedoch eine sorgfältige Kontrolle erfordere. Entwickler sollten generierten Code prüfen, seine Funktionsweise verstehen, ihn auf Schwachstellen testen und bestätigen, dass er sich wie vorgesehen verhält. Das Gesamtsystem sollte außerdem so konzipiert sein, dass die Auswirkungen einer möglichen Kompromittierung begrenzt werden.

Für Projekte mit höherem Risiko verweist das NCSC auf grundlegende Cybersicherheitsanforderungen, die gemeinsam mit internationalen Partnern im Rahmen des Technischen Komitees von ETSI für die Absicherung von KI entwickelt wurden. Die Leitlinien erscheinen zu einem Zeitpunkt, an dem sich KI-Tools zur Codegenerierung rasch weiterentwickeln und Organisationen dazu veranlassen, den Grad des Vertrauens in automatisierte Entwicklungsabläufe neu zu überdenken.

• Projekte mit geringem Risiko können mehr KI-Autonomie zulassen.
• Sicherheitssensible Systeme benötigen eine umfassendere menschliche Prüfung.
• Das richtige Gleichgewicht hängt vom Kontext ab, nicht von einer starren Regel.