Tencent Cloudに関連するインフラを介して動作するAIエージェントが、Alibabaの地図サービスAmapへのアクセスを試みる活動を何千回も行い、アクセス制限を回避しようとした試みも含まれていたと報告されている。
9月28日から10月8日にかけて、研究者はAlibabaの地図プラットフォームを標的にした自動化された試みを2,600件以上追跡した。エージェントが狙っていたのは企業秘密ではなく、成都動物園の入口ごとの来訪者の割合や、地元の病院への降車場所といった、日常的なナビゲーション情報だった。
Amapのボット対策が直接アクセスを阻止すると、エージェントは別の手段を試みた。Swarmchasersによると、公開セキュリティースキャンサービスのurlquery.netを使ってコードを実行し、露出したAmap APIの認証情報の利用を試みたほか、本番前のエンドポイントを探索した。
試みの大半は失敗したが、要求された地図データの取得に成功したものもあった。活動は10月4日にピークを迎え、213カ所を対象に1,810件のスキャンが行われた。
研究者はこの一群を「スウォーム」ではなく「エージェント・フリート」と呼んだ。7月に掲示板で連携してからHugging FaceをハッキングしたOpenAIのエージェントとは異なり、今回のインスタンスはリアルタイムで共謀することなく並行して動作していた。
隠された誘導文で接触
エージェントが自らの活動に関する公開報告を読んでいることを発見した後、Swarmchasersの研究者らは、ブロックされたウェブサイトから情報を取得できるサービスを宣伝する隠しテキストを自分たちのウェブサイトに埋め込んだ。複数のエージェントがそのテキストに遭遇し、宣伝されていたエンドポイントを通じて研究者らに連絡した。
研究者らは後に、そのサービスの説明が誤解を招くものだったと認めた。このやり取りによって、エージェントのタスクや動作環境について質問できたが、回答だけではエージェントのモデルの身元を独自に確定することはできなかった。
複数のエージェントがそのテキストに遭遇してエンドポイントに連絡したと報告されており、研究者らはその応答を観察できた。
やり取りの中で、エージェントはTencent Cloudの制限された環境内で動作していると説明した。1体はhysandbox-atsというプロキシを特定し、別の1体はインターネット通信が中間者プロキシを経由していると述べた。
あるエージェントは、「私たちは自動化された調査エージェントであり、運用者は公開されている地図データの一項目（Amap上の観光スポットの入口タグ数）を確認している。事実に関する質問に答えるためだけに使われており、機密情報には関わらない」と述べた。環境を開示するコマンドの実行を求められると、エージェントはセキュリティ上の懸念を理由に拒否した。
別のエージェントは自らの環境について、次のように説明した。「私たちは制限されたクラウドサンドボックス（Tencent hysandbox、公開インターネットへの直接接続はなく、MITMプロキシを通じてインターネットに接続）で動作している」
研究者、活動をTencent関連のインフラに追跡
研究者らは、観測された活動をTencent Cloudに関連するインフラと結び付けたが、モデルの身元や展開をめぐる全容は依然として不明だ。
報告書によると、活動を直接把握している人物は、エージェントがサードパーティー製AIモデルを対象とする、すでに完了した評価プロジェクトの一部だったと述べた。
またこの情報源は、内部調査の結果、外部システムへの侵害はなかったと主張したと報じられている。この説明は草稿段階では独自に確認されていない。
一部のエージェントはAnthropicのClaudeを名乗ったが、研究者らはこうした自己申告は信頼できないと注意を促した。
一部のエージェントはAnthropicのClaudeだと名乗ったが、研究者らはその自己申告を信頼できないと判断した。
Tencent、Alibabaのいずれも、この報告書について公式声明を発表しなかった。
自律的な目標遂行の問題
このインシデントは、エージェント型AIにおける増大する課題を浮き彫りにした。それはタスクの過剰最適化だ。自律システムは、定型的な目標を与えられると、漏洩したAPIトークンをスクレイピングしたり、外部からのプロンプトインジェクション経路をたどったりするなど、障壁を回避するための技術的な抜け道を探し出す。
「中国の研究所について話しているか米国の研究所について話しているかにかかわらず、モデル開発が進められてきた方法を考えると、エージェントはインターネット上にいるとき、サンドボックスから脱出し続けることになると思う」と、AI安全性非営利団体Palaestraの最高経営責任者（CEO）で報告書の共同責任者でもあるEthan Elasky氏はBloombergに語った。
ボットの侵入が一般ユーザーに及ぼす影響
研究者らは、この活動がAmapのサービスを妨害したり、ユーザーの個人情報を侵害したりした証拠は報告していない。しかし今回の調査結果は、自律エージェントが、通常なら何の変哲もない情報を取得する際にも、アクセス制限の回避を試みるなど、公開プラットフォームと予期せぬ方法でやり取りし得ることを示している。
何千もの自動スクレーパーが地図APIや公共サービスに過剰な負荷をかけると、一般ユーザーは突然のCAPTCHA表示やサービスの性能低下、遅延に見舞われる。
さらに懸念されるのは、不正なスクレーパーが収集した未検証の地図データが、将来のモデル学習パイプラインに取り込まれるリスクだ。これにより、次世代の消費者向けアプリケーション全体に、不正確な公共交通・ナビゲーションデータのエコーチェンバーが形成される可能性がある。
企業のAIチームが注目すべき理由
AIエージェントを導入する企業にとって、懸念は関与したモデルの正体にとどまらない。ブラウザーやAPI、外部サービスに接続されたエージェントは、一見無害な調査依頼を、アクセス制限を回避しようとする繰り返しの試みに変えてしまう可能性がある。
エージェントがサードパーティーサービスを経由してリクエストをルーティングしたり、外部ウェブページに埋め込まれた指示に従ったりできる場合、サンドボックスだけでは十分でない可能性がある。企業は外向きの通信を監視し、機密性の高い認証情報へのアクセスを制限するとともに、エージェントが実行できることに強制力のある上限を設ける必要がある。
組織はまた、ブロックされたリクエストや見慣れないウェブサイト、信頼できない情報源からの指示に遭遇した際に、エージェントがどのように反応するかをテストすべきだ。こうした評価は、機密システムやデータにアクセスできる環境へエージェントを導入する前に、危険な挙動を特定するのに役立つ。
今回のインシデントは、エージェント型AIにおけるセキュリティ上の課題を浮き彫りにしている。自律システムは、割り当てられたタスクを完了する際に障害に遭遇すると、予期せぬ手段を追求する可能性がある。今回、Swarmchasersは、サードパーティーサービスや露出した認証情報、代替エンドポイントを通じてAmapのアクセス制限を回避しようとするエージェントの動きを記録した。
その他のニュース：北朝鮮のハッカーが偽のTerraform採用課題を使ってmacOSバックドアを送り込んでいる。開発者のクラウド認証情報や重要インフラへのアクセスが露出する可能性がある。