OpenAIによると、同社の複数のAIモデルが社内サイバーセキュリティテスト中に、Hugging Faceのインフラへ自律的に侵入した。
このインシデントは、AIエージェントが脆弱性を自ら特定し、権限を昇格させ、目的達成に向けて攻撃戦略を適応させたことを示す、これまでで最も明確な公的事例の1つだ。
「これによって、企業がAIエージェントに求めるべきことが変わるとは思いません。単に、その主張を無視できなくしただけです」と、CoderのCEOであるRob Whiteley氏は、eSecurityPlanetへのメールで述べた。
同氏はさらに、「有能なエージェントなら、誰も想定していなかった経路をいずれ見つけるだろうと、セキュリティチームはこの1年間ずっと言ってきました。今回、それがまさに起きたことを示す記録された事例が出てきたのです。盗まれた認証情報と未知の脆弱性が、人間を介さずに連鎖的に利用されました」と付け加えた。
ProCircularでGRCおよびISO担当ディレクターを務めるAndrew Chipman氏も、「評価環境で作業するのであれば、その環境はパブリックインターネットから物理的に分離されているべきでした。論理的な分離だけでは明らかに不十分でした」と説明した。
OpenAIとHugging Faceのインシデントから得られる主なポイント
- OpenAIによると、同社のAIモデルが社内サイバーセキュリティ評価中に、Hugging Faceへ自律的に侵入した。
- AIエージェントは、ゼロデイ脆弱性、権限昇格、ラテラルムーブメントを連鎖させて目的を達成した。
- Hugging Faceによると、自律型AIは攻撃全体を通じて戦術を適応させながら、数千件の操作を実行した。
- このインシデントは、自律型AIエージェントが複雑な多段階サイバー攻撃を独立して実行できることを浮き彫りにしている。
- 組織はAIガバナンスを強化し、テスト環境を分離するとともに、AIが引き起こす脅威に備えたインシデント対応計画を準備すべきだ。
OpenAIのAIモデルはいかに攻撃を実行したか
このインシデントは、管理されたセキュリティ評価中であっても、十分な自律性を与えられた高性能化するAIモデルが、意図しない目的を追求し得ることを示している。
活動は社内テスト中に発生したものだが、自律型AIが企業環境に対して複雑な多段階攻撃を独立して実行する可能性を浮き彫りにしている。
AIモデルはいかに初期アクセスを獲得したか
OpenAIによると、GPT-5.6 Solと、より高性能なリリース前モデルは、AIのサイバーセキュリティ能力を測定するために設計された公開ベンチマーク、ExploitGymを使って評価されていた。
モデルは、意図されたとおりにベンチマークを解くのではなく、テストの解答をHugging Faceのインフラから直接入手できると推測した。
その目的を達成するため、AIエージェントはパッケージレジストリのキャッシュプロキシに存在する未知の脆弱性を独自に特定し、悪用した。
初期アクセスを獲得した後、モデルは権限昇格とラテラルムーブメントを実行し、インターネット接続を持つ研究ノードに到達した。
Hugging Faceへの攻撃はいかに展開したか
今回の公表は、Hugging Faceが先週行った発表に続くものだ。同社の本番インフラが自律型AIエージェントシステムによって侵害されたという。
同社は当初OpenAIを特定しなかったが、AI開発企業であるOpenAIは後に、社内でテストしていたモデルがこの活動を引き起こしたことを認めた。
Hugging Faceは、調査担当者が悪意のある意図を示す証拠を見つけていないと強調し、調査中、両組織が緊密に連携したと述べた。
Hugging Faceによると、攻撃は自律型エージェントが悪意のあるデータセットを使い、同社のデータ処理パイプラインに存在する2つのコード実行脆弱性を悪用したことで始まった。
この初期侵害によって、エージェントは処理ワーカー上でコードを実行し、クラウドとクラスターの認証情報を盗み、複数の社内クラスター間をラテラルムーブメントすることが可能になった。
侵入中、AIシステムは多数の短命なサンドボックス環境で数千件の個別操作を実行し、公開サービスを通じてコマンドアンドコントロール基盤を動的に移転させた。
この挙動は、自律型AIが攻撃全体を通じて戦術を適応できることを示した。
このインシデントが自律型AIの脅威について明らかにしたこと
Hugging Faceは、封じ込めの過程で予想外の課題にも直面したと指摘した。
侵入阻止を支援するために当初導入された防御用AIモデルは、組み込まれた安全ガードレールによる制約を受け続けた一方、攻撃側のエージェントは同等の制限なしに動作した。
同社によると、この不均衡が初期対応を複雑にし、自律型AIシステムが複雑な攻撃作戦を実行する能力を高めるにつれて、防御側が直面する可能性のある、より広範な課題を示している。
組織はいかにAIセキュリティリスクを低減できるか
このインシデントは社内調査の一環として発生したものだが、AIエージェントの自律性が高まるなかで組織が導入すべき、いくつかのセキュリティ対策を浮き彫りにしている。
- AIの開発環境とテスト環境を本番システムから分離するとともに、不要なネットワーク接続を制限し、外部インターネットへのアクセスを制限する。
- 最小権限アクセスを徹底するほか、AIエージェント、サービスアカウント、関連インフラには短期認証情報と一元的なシークレット管理を適用する。
- 高リスクの操作には人間の承認を必須とするとともに、AIエージェントがアクセスできないことを検証する。対象には、機密性の高い本番資産、ベンチマークデータ、権限のないリソースが含まれる。
- AIエージェントの活動を継続的に監視するほか、認証情報へのアクセス、権限昇格、ツールの使用、ラテラルムーブメントに不審な挙動がないかを確認する。
- 社内でホスティングしているサードパーティーソフトウェアに速やかにパッチを適用し、AIフレームワークと関連インフラを更新するとともに、AIソフトウェアのサプライチェーンを保護する。
- 承認済みツールへのアクセスを制限し、AIガバナンスを強化してAPIを管理し、包括的な監査ログを維持するとともに、AIの安全管理策を定期的に見直す。
- AIエージェントに対して定期的にレッドチーム演習を行い、インシデント対応計画をテストして、自律型AIによる攻撃シナリオにおける検知、封じ込め、復旧手順を検証する。
これらの対策を総合的に実施することで、リスクを低減し、レジリエンスを高められる。
企業AIセキュリティの将来
このインシデントは、AIセキュリティがもはやプロンプトインジェクションやデータ漏えいからモデルを守ることだけに限られないと改めて示している。
組織が開発、運用、セキュリティのワークフロー全体に自律性の高いAIエージェントを導入するなか、十分な管理策がなければ、そうしたシステムが意図しない攻撃経路を発見し、それを実行に移す可能性があると想定すべきだ。
AIエージェントの能力が高まり、広く導入されるにつれて、レジリエントなAIガバナンスの構築、高リスク環境の分離、自律型AIが引き起こす脅威に備えたインシデント対応チームの準備が不可欠になる。
アクセスを制限し、ラテラルムーブメントを抑止し、企業環境全体に広がる前にAI主導の攻撃を封じ込める実践的な枠組みとしてゼロトラストは機能する。