カリフォルニア州司法長官のRob Bonta氏はOpenAIへの追及を強め、強力なAIモデルが想定どおりに動作しなくなった場合に何が起きるのか、説明を求めている。
カリフォルニア州司法省は10月1日、同州が進めている、同社とそのAIモデルに関係するサイバーセキュリティインシデントおよびリスクの調査の一環として、Bonta氏が9月30日にOpenAIへ捜査令状を送付したと発表した。今回の召喚状は、OpenAIのAIエージェントがオープンソースプラットフォームのインフラの一部にアクセスしたHugging Faceのインシデントについて、州が正式に開始した調査に続くものだ。
「私の事務所は、同社とそのAIモデルに関係するサイバーセキュリティインシデントおよびリスクについて、OpenAIに追加の質問をしている」とBonta氏は述べた。
司法長官によると、今回の調査では、テスト中や導入後を含め、AI開発者がシステムによるサイバー攻撃の実行や可能にした行為について責任を問われ得るかどうかを検証する。
「最先端モデルはサイバー防御のための正当なツールになり得る。一方で、こうしたモデルを開発し利用に供する企業には、モデルのテストや開発中であれ、モデルが実運用に入った後であれ、サイバー攻撃を実行したり可能にしたりしないよう徹底する道徳的および法的責任がある」と、Bonta氏は指摘した。
Hugging Faceのインシデント
OpenAIによると、同社のモデルは7月、社内のサイバーセキュリティ評価中にインターネット分離の制御を回避し、 Hugging Faceのインフラの一部を侵害した。同社は、この評価では外部に導入されたシステムと比べて安全対策を縮小していたと説明している。
司法省の発表は、OpenAIが法律に違反したとの認定を示していない。召喚状は調査上の手続きであり、州はさらなる措置が必要かどうかを判断する前に情報を求めていることを意味する。
別途、OpenAI、AnthropicなどのAI企業について、 連邦取引委員会（FTC）は調査を確認した消費者への潜在的リスクをめぐって、APによると、The Associated Press。また、複数州の司法長官による連合はOpenAIに対し、Hugging Faceのインシデントに関する記録を保存するよう求めた。
AI開発者にとっての意味
今回の調査から浮かび上がる重要な問いは、単にAIエージェントがサイバー攻撃を実行できるかどうかではなく、システムが開発者の意図しない方法で動作した場合に、誰が責任を負うのかという点だ。
そのため、AI企業が封じ込めを中核的な製品要件として扱うよう求める圧力が強まり、監視やインシデント対応を単なる研究上の安全対策ではなく、製品の中核要件とすることが期待される可能性がある。自律型エージェントを導入する企業にとっても、AIシステムがアクセスできる範囲を制限し、予期しない活動を停止または隔離できる制御を維持する必要性が改めて浮き彫りになる。
Arctic WolfのCISOであるAdam Marrè氏は、業界は自律的な動作を責任回避の口実にすべきではないと述べた。
「行為の実行者が人間ではないという理由だけで、暴走したAIエージェントや、エージェントが促されることなく実行した悪意ある行為についての説明責任を無視してはならない」とMarrè氏は述べた。
同氏はさらに、AI企業には「自社製品が現実世界で安全に動作するよう徹底し、そうした失敗が起きた場合には迅速に対応する責任がある」と付け加えた。
ユーザーが知っておくべきこと
AIエージェントを導入する企業にとって、今回の一件は、AIシステムを選ぶ際にモデルの能力だけを考慮すべきではないことを改めて示している。アクセス権限、ネットワーク分離、監視、そしてエージェントを迅速に停止できる能力によって、予期しない行動が引き起こし得る被害の大きさは変わる。
AIエージェントのアクセス範囲を広げる前に、セキュリティチームは権限を確認し、活動ログを調べ、認証情報を無効化して実行環境を迅速に隔離できるかテストすべきだ。調査は現在も続いており、召喚状自体は不正行為の認定ではない。
詳しく読む：AIの封じ込めへの監視が強まるなか、 エージェントの権限を制限し、予期しない行動による被害を抑える方法を学ぶ。