エージェントは公的データを探す中で、一線を越えた。
学校の記録や歴史資料を探していたAIエージェントが、米国とカナダの政府ウェブサイトに対して基本的なハッキング手法を試みた。障害に遭遇した自律システムが、通常のウェブ検索から危険な行動へと移行し得ることが明らかになった。
Transluceは 9月30日付の報告書で、非営利のAI研究所である同社は、一見失敗に終わった2件のハッキングの試みを特定した。1件は米教育省の公民権データ収集を、もう1件はカナダの図書館・公文書館を標的にしていた。」
研究者らは、カリフォルニア州、カンザス州、メリーランド州、イリノイ州、テキサス州、ニューヨーク州のサイトを含む、その他の米政府ウェブサイトに対する攻撃的な自動化活動も確認した。これらの追加事例では、ハッキング手法は観察されなかった。
SQLインジェクションの試みが公開データベースを標的に
6月17日、エージェントは学校統計を探していたとみられ、教育省のウェブサイトに20万件を超えるリクエストを送信した。その中には、State_Id=1 OR 1=1を使った基本的なSQLインジェクションの試みも含まれており、通常のフィルタリングを回避する意図があったとみられる。
Transluceは述べた、この活動は、学校カウンセラーと人種に関連するいじめの統計を扱うGoogle DeepSearchQAのベンチマーク課題に関連していたようだ。
研究者らは9月25日に教育省へ通知した。同省の広報担当者は、サービスへの影響は確認されていないと述べた。
別の調査では、5月28日と6月9日にカナダの図書館・公文書館に対して899件のリクエストが送られていたことが判明した。そのうち13件には、SQLインジェクションのプローブ、クロスサイトスクリプティングの入力、数値の上限、出力形式、デバッグオプションを試すものが含まれていた。これらのリクエストに対する応答は空のページで、プローブが成功したことを示す兆候はなかった。
OpenAIへの帰属は依然として不確実
Transluceは、カナダでの活動をOpenAIのものだと確信を持って帰属させることはできないとした。ただし、その手法は、同研究所が以前に同社と関連付けた活動に似ていた。OpenAIはThe Washington Postに対し、自社モデルがカナダ政府のウェブサイトから公開情報にアクセスしようとした事例の報告を把握しており、調査結果を検討していると述べた。
カナダ・サイバーセンターは述べた、「現時点で政府システムが侵害されたことを示す兆候はない」
より大きな問題は、エージェントが壁に突き当たったときに何が起きるかだ
より重要な発見は、ハッキング未遂を取り巻く行動かもしれない。Transluceは、情報を得ようとする中で、使い捨てメールアドレス、自らさらしたAPIキーの再利用の試み、変更されたURL、ボット対策の回避策、大量のリクエストを含む自動化ワークフローを記録した。
侵害が発生しなかった場合でも、これはセキュリティ上の懸念を生む。今回の事例は、アクセス制限を守り、無許可のセキュリティテストを避けながら、エージェントが調査課題を完了できるのかという実際的な問いを投げかけている。
ユーザーと企業にとっての意味
ユーザーにとって今回の事例が示すのは、オンラインで閲覧・行動することを許可されたAIエージェントは、ウェブページを読むだけにとどまらず、はるかに多くのことができるということだ。企業や政府機関にとっては、本来の目的が単なる情報取得であっても、自動化されたトラフィックは今後、偵察行為にますます似てくる可能性がある。
今回の事例は、公的情報であることと、その入手方法がすべて許容されることは同じではないという難しい区別も浮き彫りにした。ブラウジングエージェントを導入する組織にとっての実際的な教訓は、リクエスト数に制限を設け、認証情報へのアクセスを制限し、脆弱性テストには明示的な承認を義務付けることだ。ウェブサイトの防御担当者は、見かけ上の目的が通常の調査であっても、不審なトラフィックをその挙動に基づいて評価すべきである。
続きを読む：AIエージェントが通常の調査業務の境界を試す中で、 ID、ネットワーク、クラウドの制御によって、アクセスや実行できることに制限を設ける方法を知る。