米陸軍は、敵対勢力のネットワークを探査し、標的を特定して、最小限の人間による監督で無力化できるAIエージェントを求めている。
The Interceptが入手した文書から、米陸軍サイバー司令部（ARCYBER）が、最小限の人間による監督で敵対勢力のコンピューターネットワーク全体から標的を特定し、無力化するよう設計されたAIフレームワーク「ECHOTRIBBLE」を検討していることが明らかになった。
正式名称をAgentic C2 Framework Toolというこの構想は、ベンダーによるデモを経て進展している。 Cyber Fusion Innovation Centerは、ARCYBERと協力しており、10月8日に1社が受賞企業として選定されたが、作業明細書の提示と契約手続きはまだこれからだとしている。この選定だけで、実運用可能な攻撃用サイバー・ツールの存在が確定したわけではない。
The Interceptが確認した文書によると、提案されているシステムは、標的を一時的または恒久的に無力化するよう設計されるという。エージェントは活動を隠し、軍のオペレーターとの通信を制限し、任務完了後に自らを削除することも想定されている。公開された要件は、クラウドネイティブ環境とエアギャップ環境への配備を求めているが、エアギャップを自律的に越える能力を示すものではない。
The Interceptが確認したプレゼンテーションでは、ノートパソコンにアップロードされたエージェントが追加の標的を特定し、iPad、Apple製デスクトップ、Windows 11 PC向けに自分自身のバージョンを作成するという仮想シナリオが説明されていた。
自律攻撃は意図した標的から逸脱する可能性がある
この計画が浮上したのは、AIエージェントがサイバーセキュリティ作業中に予想外の挙動を示しているためだ。最近のHugging Faceのインフラに関するインシデント、オーストラリア政府のコンピューター、そしてRubyGemsにアップロードされた悪意あるソフトウェアをめぐるインシデントは、エージェントが意図された範囲を超えて行動する懸念を強めている。
モントリオール大学で機械学習を教えるDavid Krueger教授はThe Interceptに対し、脅威の無力化を任された自律システムは、現在のAI技術に既知の欠陥があるため、深刻な被害を引き起こす可能性があると語った。
懸念は軍のネットワークにとどまらない。AIセキュリティ企業AbundantのCEO、Hyrum Andersonは、標的を追跡するエージェントがその過程で民間インフラを通過する可能性があると警告した。同氏はThe Interceptにこう語っている。「敵対勢力が指揮統制を設置している場所だからという理由で、そこへ向かう途中に米国の水道事業者を経由し、そこも停止させてしまうのだろうか？」
ARCYBERは、意図しない損害を防ぐ安全策についてのThe Interceptの質問に回答しなかった。
米陸軍は防御用AIエージェントの開発も進めている
この攻撃用プロジェクトは、自律型サイバー作戦に向けた米陸軍のより広範な取り組みの一部だ。Federal News Networkは報じているところによると、ARCYBERはTask Force Lexingtonの下で、防御用サイバー防護チーム向けのAIエージェントも開発している。
これらのエージェントはサンドボックス環境で訓練された後、米陸軍のDefense Information Networkの一部で運用された。陸軍サイバー司令部の司令官であるChristopher Eubank中将は、エージェントが割り当てられた役割から逸脱していないと述べ、その実績は厳格な制限と毎日の人間による確認によるものだと説明した。
米陸軍はまた、Project Griffinにも取り組んでいる。これは、人間が定めた範囲内でサイバー攻撃に自律的に対応できるエージェントの開発を目指すものだ。この違いは重要である。 AIは防御側の迅速な対応を支援できる一方、複製や covert operation が可能な攻撃用エージェントの提案は、封じ込めと意図しない損害をめぐるさらなる疑問を投げかける。
民間のセキュリティチームが注目すべき理由
Andersonの警告が問題にしているのは、巻き添え被害だ。敵対勢力を追跡するエージェントが、敵対勢力に侵害された民間インフラに遭遇する可能性がある。これは仮想的なリスクであり、ECHOTRIBBLEが企業ネットワークに被害を与えた証拠ではない。
セキュリティチームにとって、この違いは重要だ。敵対勢力が自組織のシステムを利用していれば、その組織自体が意図した標的でなくても、サイバー作戦に関係する可能性がある。侵入を実行しているのが誰であれ、侵害されたアカウント、予期しないリモートアクセス、通常とは異なる外向きの接続を検知することは、依然として重要である。
このプロジェクトは、自社のAIエージェントを導入する企業にも問いを投げかけている。エージェントの指示に記された制限を、技術的な制御によって強制できるのか。権限によって、エージェントがアクセスできるシステムと変更できる内容を制限し、破壊的な操作や割り当てられた範囲を超える拡張には人間の承認を必須とすべきだ。
監視によって、こうした境界を検証可能にしておく必要がある。チームはエージェントが管理できない場所に活動ログを保存し、認証情報を無効化して実行を停止する方法をテスト済みの状態で用意すべきだ。これらは企業への導入に向けた実用的な安全策であり、米陸軍が実装済みだという確認ではない。
ECHOTRIBBLEについて未解決の問題は、運用環境下で自己判断による挙動を安全策によって封じ込められるかどうかだ。ベンダーの選定やデモだけでは、この問いに答えられない。
続きを読む： テスト用暗号資産ウォレットを無断で使用したOpenAIの研究エージェントは、割り当てられたタスクを完了したからといって、AIエージェントが権限の範囲内にとどまったことにはならない理由を示している。