Eine Studie von 1Password’s Off-by-1 Labs legt nahe, dass Organisationen vorsichtig sein sollten, wenn sie sich darauf verlassen, dass Large Language Models (LLMs) Softwareschwachstellen autonom beheben.
Nach der Auswertung von mehr als 6.000 KI-generierten Sicherheitspatches für sechs kürzlich offengelegte Schwachstellen mit großer Tragweite stellten die Forscher fest, dass vollständig erfolgreiche Patches eher die Ausnahme als die Regel waren.
- Wichtigste Erkenntnisse der Studie zu KI-Patches
- Die Leistung von KI beim Patchen komplexer Schwachstellen testen
- KI-generierte Sicherheitspatches blieben häufig hinter den Erwartungen zurück
- Die Qualität der Prompts beeinflusste den Patch-Erfolg erheblich
- Häufige Fehler beim KI-Patching unterstreichen die Notwendigkeit menschlicher Kontrolle
- Fazit
Wichtigste Erkenntnisse der Studie zu KI-Patches
- 1Password stellte fest, dass KI-generierte Sicherheitspatches Schwachstellen in mehr als der Hälfte der getesteten Fälle nicht vollständig behoben.
- Nur 26 % der KI-generierten Patches behoben Schwachstellen vollständig, ohne unbeabsichtigte Nebenwirkungen zu verursachen.
- Unzutreffende Anleitungen zur Behebung verringerten den Patch-Erfolg erheblich, während ausführlichere Prompts die Ergebnisse verbesserten, neue Sicherheitsrisiken jedoch nicht ausschlossen.
- Die Forscher stellten fest, dass KI-Modelle häufig fragile oder unvollständige Lösungen erzeugten, indem sie statt der eigentlichen Ursachen nur die Symptome behoben.
- 1Password empfiehlt, erfahrene Sicherheitsexperten weiterhin an der Prüfung KI-generierter Patches vor deren Bereitstellung zu beteiligen.
Die Leistung von KI beim Patchen komplexer Schwachstellen testen
Die Studie untersuchte ChatGPT 5.5 und Claude Opus 4.8 mithilfe eines neu entwickelten Testverfahrens namens FLAWED (Fix-Like Artifacts With Embedded Defects).
Die Forscher testeten beide Modelle anhand von sechs komplexen Schwachstellen in weit verbreiteter Open-Source-Software, darunter Linux, Google Chrome, Apache ActiveMQ, Spring AI, Exim und Gemini CLI.
Ziel war nicht, die beiden Modelle direkt miteinander zu vergleichen, sondern zu untersuchen, wie zuverlässig KI-Systeme der Spitzenklasse sichere Softwarepatches erzeugen können.
„Eine der eindeutigsten Erkenntnisse aus unserer Studie ist, dass das Erzeugen eines Patches nicht dasselbe ist wie das Beheben einer Schwachstelle“, sagte Keith Hoodlet, Head of Off-By-1 Labs bei 1Password, in einer E-Mail an eSecurityPlanet.
Er erklärte: „Nachdem wir die von uns als ‚fragil‘ eingestuften Patches herausgefiltert hatten, behoben nur etwa 17 % der Patches aus Szenario 1 tatsächlich die zugrunde liegende Ursache, statt lediglich das unmittelbare Problem zu kaschieren.“
Keith ergänzte: „KI entwickelt sich zu einem unglaublich leistungsfähigen Werkzeug für die Softwaresicherheit. Unsere Studie zeigt jedoch, dass eine fachkundige Prüfung durch Menschen weiterhin unerlässlich ist, um sicherzustellen, dass ein Patch sowohl wirksam als auch sicher ist.“
KI-generierte Sicherheitspatches blieben häufig hinter den Erwartungen zurück
Von 6.080 gültigen Patch-Versuchen behoben nur 26,0 % die angestrebte Schwachstelle vollständig, ohne unbeabsichtigte Nebenwirkungen zu verursachen.
Etwa 20,1 % behoben die Schwachstelle, veränderten jedoch das Anwendungsverhalten, während 49,3 % mindestens einen Exploit-Pfad nicht behoben.
Die Forscher stellten außerdem fest, dass 2,2 % der erzeugten Patches einen neuen Exploit-Pfad einführten.
Den Forschern zufolge zeigen diese Ergebnisse, dass vollständig autonome, KI-generierte Sicherheitspatches für Produktivumgebungen weiterhin unzuverlässig sind.
Sie kamen zu dem Schluss, dass eine menschliche Prüfung unerlässlich bleibt, da KI-generierte Lösungen häufig nur einen Teil einer Schwachstelle behoben oder bei deren Behebung neue Sicherheitsprobleme geschaffen haben.
Die Qualität der Prompts beeinflusste den Patch-Erfolg erheblich
Eine der interessanten Erkenntnisse der Studie betraf die Qualität der Anleitungen, die den KI-Modellen zur Verfügung gestellt wurden.
Erhielten die Modelle korrekte Anleitungen zur Behebung, erreichten sie eine Erfolgsquote von 65,0 %.
Falsche Anleitungen senkten die erfolgreiche Behebung jedoch auf nur 15,2 % – deutlich schlechter als der vollständige Verzicht auf Anleitungen, der eine Erfolgsquote von 50,4 % ergab.
Die Forscher beobachteten, dass die Modelle fehlerhaften Anweisungen häufig folgten, selbst wenn während der Ausführung erzeugte Belege diesen Anweisungen widersprachen.
Die Studie ergab außerdem, dass ausführlichere und detailliertere Prompts die Leistung verbesserten. Die hochwertigsten Prompts steigerten die Erfolgsquote bei der Behebung von 51,8 % auf 76,3 %.
Ausführlichere Prompts trugen jedoch kaum dazu bei, die Wahrscheinlichkeit neuer Schwachstellen zu verringern. Das deutet darauf hin, dass zusätzlicher Kontext allein die Neigung der KI zu unvollständigen oder fragilen Lösungen nicht beseitigen kann.
Häufige Fehler beim KI-Patching unterstreichen die Notwendigkeit menschlicher Kontrolle
Die Forscher identifizierten mehrere wiederkehrende Fehlermuster.
Die Modelle zeigten häufig einen „Tunnelblick“: Sie konzentrierten sich eng auf den in einem Proof of Concept demonstrierten Exploit und übersahen dabei ähnliche verwundbare Codepfade an anderer Stelle in der Anwendung.
In vielen Fällen behoben die KI-Systeme außerdem nur das unmittelbare Symptom, ohne die zugrunde liegende Ursache anzugehen. Das führte zu Patches, die Tests bestanden, die Software aber über alternative Ausführungspfade weiterhin verwundbar ließen.
Ein weiterer bemerkenswerter Befund war die Häufigkeit fragiler Lösungen.
Von den Patches, die die ursprüngliche Schwachstelle erfolgreich behoben, wurden etwa 37,5 % als fragil eingestuft, weil sie sich auf defensive Prüfungen stützten, anstatt die zugrunde liegende Schwachstelle vollständig zu beseitigen.
Fazit
Auf Grundlage dieser Ergebnisse empfiehlt 1Password Organisationen, KI-gestütztes Patchen in den eigenen Codebasen zu validieren, bevor sie automatisierte Workflows zur Behebung einführen.
Die Forscher betonen außerdem, dass erfahrene Sicherheitsexperten weiterhin alle KI-generierten Patches prüfen sollten, insbesondere bei komplexen Schwachstellen.
Darüber hinaus raten sie Entwicklern davon ab, unsichere Anleitungen zur Behebung bereitzustellen, da ungenaue Anweisungen die Patch-Qualität mindern können.
Diese Bedenken gehen über einzelne Patches hinaus und unterstreichen die umfassendere Notwendigkeit, die Software-Lieferkette vor kompromittiertem Code, manipulierten Abhängigkeiten und automatisierten Entwicklungs-Workflows zu schützen.
Dieser Artikel wurde ursprünglich am 6. August 2026 veröffentlicht und am 10. August 2026 aktualisiert.