Eine groß angelegte Studie zu mehr als 6.000 Software-Patches ergab, dass von KI erzeugte Fehlerbehebungen häufig keine zuverlässige Lösung bieten. Den Ergebnissen zufolge war etwa die Hälfte der untersuchten Patches in irgendeiner Form erfolglos. Dies verdeutlicht die Risiken, wenn automatisierte Codegenerierung als Ersatz für Security Engineering und Tests betrachtet wird.
Die Untersuchung zeigt, dass ein Patch zwar scheinbar funktionieren, gleichzeitig aber neue Probleme verursachen kann. Einige Fehlerbehebungen führten zusätzliche Bugs ein, während andere bestehende Funktionen an anderer Stelle in einer Anwendung beeinträchtigten. In anderen Fällen beseitigte der Patch zwar das sichtbare Symptom, ließ jedoch eine zugrunde liegende Schwachstelle bestehen, die Angreifer umgehen konnten.
Warum automatisierte Fehlerbehebungen überprüft werden müssen
KI-Tools können schnell Code erzeugen und Entwickler dabei unterstützen, unter Zeitdruck auf Schwachstellen zu reagieren. Ein generierter Patch stellt jedoch nicht zwangsläufig eine vollständige Behebung dar. Modelle können missverstehen, wie eine Schwachstelle ausgelöst wird, Wechselwirkungen mit dem umgebenden Code übersehen oder auf einen engen Testfall statt auf das umfassendere Verhalten der Software optimieren.
Die Ergebnisse der Studie verdeutlichen den Unterschied zwischen dem Verschwinden einer Schwachstelle in einem Test und ihrer tatsächlichen Beseitigung. Ein Fix, der eine grundlegende Validierung besteht, kann dennoch die Zuverlässigkeit beeinträchtigen, einen separaten Fehler verursachen oder einen alternativen Angriffsweg offenlassen.
Auswirkungen auf Entwicklungsteams
Organisationen, die KI-gestützte Entwicklung einsetzen, sollten generierte Patches als Entwürfe betrachten, die eine menschliche Prüfung erfordern. Sicherheitsteams und Entwickler sollten die vorgeschlagene Änderung überprüfen, betroffene Funktionen testen, mögliche Umgehungen bewerten und sicherstellen, dass die ursprüngliche Schwachstelle vollständig behoben wurde. Regressionstests und eine unabhängige Sicherheitsvalidierung sind besonders wichtig bei Fehlerbehebungen für weit verbreitete oder sensible Systeme.
Von KI generierte Patches können weiterhin nützlich sein, um Untersuchung und Entwicklung zu beschleunigen. Die Studie legt jedoch nahe, dass sie nicht automatisch bereitgestellt werden sollten. Sorgfältige Prüfung und Tests bleiben unverzichtbare Bestandteile des Schwachstellenmanagements.