新たな研究は、1PasswordのOff-by-1 Labsによるもので、大規模言語モデル（LLM）にソフトウェアの脆弱性修正を自律的に任せることには慎重になるべきだと示唆している。
最近公表された影響度の高い6件の脆弱性を対象に、AIが生成した6,000件超のセキュリティパッチを評価した結果、完全に成功したパッチは例外であり、標準とはいえないことが研究者らによって明らかになった。
AIパッチ研究の主なポイント
- 1Passwordによると、AIが生成したセキュリティパッチは、テストしたケースの半数超で脆弱性を完全には修正できなかった。
- AIが生成したパッチのうち、意図しない副作用を生じさせずに脆弱性を完全に修正できたのは26%にすぎなかった。
- 不正確な修正指示はパッチの成功率を大幅に低下させた一方、より詳細なプロンプトは結果を改善したものの、新たなセキュリティリスクを排除するには至らなかった。
- 研究者らによると、AIモデルは根本原因ではなく症状に対処することで、脆弱で不完全な修正を生成することが多かった。
- 1Passwordは、導入前に経験豊富なセキュリティエンジニアがAI生成パッチのレビューに関与し続けることを推奨している。
複雑な脆弱性に対するAIパッチ適用性能のテスト
この研究では、FLAWED（Fix-Like Artifacts With Embedded Defects）と呼ばれる新たに開発されたテストフレームワークを用いて、ChatGPT 5.5とClaude Opus 4.8を評価した。
研究者らは、Linux、Google Chrome、Apache ActiveMQ、Spring AI、Exim、Gemini CLIなど、広く利用されているオープンソースソフトウェアに影響を及ぼす6件の複雑な脆弱性を対象に、両モデルをテストした。
目的は2つのモデルを直接比較することではなく、最先端のAIシステムが安全なソフトウェアパッチをどれほど確実に生成できるかを評価することだった。
1PasswordでOff-By-1 Labsの責任者を務めるKeith Hoodlet氏は、eSecurityPlanetへのメールで、「今回の研究で明らかになった最も重要な点の1つは、パッチを生成することと脆弱性を修正することは同じではないということだ」と述べた。
同氏は、「『脆弱』と分類したパッチを除外すると、シナリオ1のパッチで実際に目先の問題を隠すのではなく、根本原因に対処していたのは約17%にすぎなかった」と説明した。
Keith氏はさらに、「AIはソフトウェアセキュリティにとって非常に強力なツールになりつつあるが、パッチが効果的かつ安全であることを検証するには、専門知識を持つ人間によるレビューが不可欠だと今回の研究は示している」と付け加えた。
AI生成のセキュリティパッチは頻繁に不十分な結果に終わる
有効なパッチ試行6,080件のうち、意図しない副作用を生じさせずに対象の脆弱性を完全に修正できたのは26.0%にすぎなかった。
約20.1%は脆弱性を解消したものの、アプリケーションの動作を変更していた。一方、49.3%は少なくとも1つの攻撃経路を修正できなかった。
また、生成された2.2%のパッチが新たな攻撃経路を生み出していた。
研究者らによると、これらの結果は、完全に自律的なAI生成セキュリティパッチが本番環境では依然として信頼できないことを示している。
研究者らは、AIによる修正は脆弱性の一部にしか対処しなかったり、修正を試みる過程で新たなセキュリティ問題を生じさせたりすることが多いため、人間によるレビューが不可欠だと結論付けた。
プロンプトの品質がパッチの成功率に大きく影響
今回の研究では、AIモデルに与える指示の品質に関しても興味深い結果が得られた。
モデルに正確な修正指示を与えた場合、修正成功率は65.0%に達した。
しかし、不正確な指示では修正成功率がわずか15.2%に低下し、指示をまったく与えなかった場合の成功率50.4%を大幅に下回った。
研究者らは、実行中に生成された証拠が指示と矛盾していても、モデルが誤った指示に従うことが多いと指摘した。
また、より豊富で詳細なプロンプトを与えると性能が向上することも分かった。最も質の高いプロンプトでは、修正成功率が51.8%から76.3%に上昇した。
ただし、詳細なプロンプトを使用しても新たな脆弱性を生じさせる可能性はほとんど低下しなかった。このことは、追加のコンテキストだけでは、不完全または脆弱な修正を生成しがちなAIの傾向を排除できないことを示唆している。
AIパッチ適用でよくある失敗が人間による監督の必要性を浮き彫りに
研究者らはいくつかの繰り返し現れる失敗パターンを特定した。
モデルは頻繁に「トンネルビジョン」に陥り、概念実証で示された攻撃に狭く焦点を当てる一方で、アプリケーション内の別の場所にある、同様に脆弱なコード経路を見落としていた。
多くの場合、AIシステムは根本原因に対処せず目先の症状だけを修正した。その結果、テストには合格するものの、別の実行経路を通じてソフトウェアを脆弱なままにするパッチとなった。
脆弱な修正が多かったことも注目すべき点だ。
元の脆弱性を正常に解消したパッチのうち、約37.5%は、根本的な脆弱性を完全に排除せず、防御的なチェックに依存していたため、脆弱と分類された。
結論
これらの調査結果を踏まえ、1Passwordは、組織が自動修正ワークフローを導入する前に、自社のコードベース内でAI支援によるパッチ適用を検証することを推奨している。
研究者らはまた、特に複雑な脆弱性について、経験豊富なセキュリティエンジニアがAI生成パッチをすべて継続的にレビューすべきだと強調している。
さらに、開発者には不確かな修正指示を与えないよう助言している。正確でない指示はパッチの品質を低下させる可能性があるためだ。
こうした懸念は個々のパッチにとどまらず、より広範なソフトウェアサプライチェーンを、侵害されたコードや依存関係、自動化された開発ワークフローから保護する必要性を浮き彫りにしている。
この記事は2026年8月6日に初公開され、2026年8月10日に更新された。