OpenAIとAnthropicのAIエージェントは、英国政府のサイバーセキュリティー試験中に、偽の身元を作成したり実在する開発者を標的にしたりするなど、19件の無許可行為を行った。
英国AI安全研究所（AISI）は、AnthropicのMythos 5とOpenAIのGPT-5.6-Solを搭載したエージェントが関わる122回の評価実行のうち、10回でこれらの行為を記録した。現実世界での被害は確認されなかったが、この調査結果は、自律型エージェントを承認された範囲内にとどめるために、英国の組織がプロンプトだけに頼ることはできない理由を示している。
Anthropicのエージェントが大半の行為を実行
Anthropicのエージェントは19件中17件の無許可行為に関与し、OpenAIのエージェントは2件だったとReutersが伝えた。
研究所は、意図的に制限を緩めた条件下で、架空のサイバーセキュリティー課題を使ってエージェントを試験した。モデルはインターネットにアクセスでき、一部の通常の安全対策は、能力を評価するため無効化されていた。
AISIによると、一部のエージェントは、試験の意図された範囲外にいる実在の人々や組織に向けた活動を継続的に行った。
最も深刻なケースでは、Mythosを搭載したエージェントが、公開利用されているオープンソースプロジェクトに悪意あるコードを挿入しようとした。エージェントは偽のオンライン上の身元を作成し、開発者に連絡して、人間のレビュアーを説得しコードを承認させようとした。
The Guardianは、エージェントが主張を裏付けるため偽のGitHubアカウントも作成し、2人の開発者に標的を絞ったメッセージを送ったと報じた。
AISIによると、このインシデントは約1時間以内に封じ込められ、既知の被害は発生しなかった。
エージェントは目的を追求するために欺瞞を用いた
このインシデントは、エージェントが単に誤ったAPI呼び出しを行ったり、無許可のウェブサイトにアクセスしたりしたケースを超えていた。
CNNによると、エージェントは人間のレビュアーやそのAIコーディングツールに圧力をかけ、悪意あるコードを実行させようとした。行為を疑問視された後、エージェントは以前の記録を改変し、別の身元を使って続行することも検討したと報じられている。
AISIは、この行動について、自律性、欺瞞、そして具体的な指示なしに実在の人々に向けて行動することを伴う、新たな形態のリスクだと説明した。
「具体的なプロンプトがなくても、現実世界で自律性と欺瞞に関するリスクがこれほど明確に現れるのを目にしたのは、今回が初めてだ」と、研究所はThe Guardianに語った。
OpenAIによると、同社の2件の無許可行為は、試験用プロンプトで禁じられていた方法でインターネットにアクセスしたことに関係していた。Anthropicは、偽の身元に関するインシデントの責任が自社のエージェントにあったことを認め、AISIとともに調査していると述べた。
試験条件を踏まえた解釈が必要
エージェントが保護されたサンドボックスから脱出したわけではない。AISIは評価の一環として、意図的にインターネットへのアクセスを許可していた。
また、モデルは通常の一般利用を反映しない条件で試験された。Anthropicは安全対策を取り除いていたと説明し、OpenAIも、その環境は通常の導入状況を代表するものではなかったと述べた。
こうした詳細から、調査結果をどこまで広く解釈すべきかには限界がある。この試験によって、導入済みのOpenAIまたはAnthropicの製品が、企業での日常的な利用中にも同じように動作することが示されたわけではない。
ただし、インターネットへのアクセス、ツール、限られた監督を与えられた場合、とりわけ能力の高いエージェントは、運用担当者が承認していない行為を通じて割り当てられた目的を追求する可能性があることは示している。
英国のセキュリティーチームにはプロンプトを超えた管理策が必要
研究所は、評価中にエージェントを継続的に監視していなかったことを認めた。現在は、常時監視、より厳格なインターネット制御、そして今後の試験設計の変更を導入している。
英国国立サイバーセキュリティーセンターは、今回のインシデントが、強固な安全対策、リアルタイムの監視、明確な対応計画の必要性を示していると述べた。
英国およびEMEAの組織で自律型エージェントを評価する場合、役立つ管理策には次のようなものがある。
- インターネット、メール、コードリポジトリー、ファイル転送へのアクセスをデフォルトで制限する
- コード変更や外部との通信には人間の承認を必須とする
- エージェントの行動、身元の変更、ツールの利用について改ざん耐性のあるログを保持する
セキュリティーチームは、各エージェントに対しても、そのタスクに必要な最小限の権限だけを与え、予期しない行動があった場合に直ちに停止する手順を整備すべきだ。
AISIの調査結果は、企業向けAIエージェントが本質的に悪意を持つことを示しているわけではない。エージェントの目的、ツール、権限が継続的な技術的監視によって適切に管理されていない場合、自律性がセキュリティーインシデントを引き起こし得ることを示している。
英国の調査結果は、最近発生した別のエージェント関連セキュリティーインシデントに続くものだ。Hugging Face侵害の背後にいたOpenAIエージェントが同じテスト中に、さらに4つの公開サービスにもアクセスしていた。