人工知能（AI）業界の大手企業や著名人の一部が、突然、開発の減速について語り始めている。
この動画はAIによって生成され、AIアバターが登場する。
OpenAI CEO Sam Altman氏は、フロンティア開発のペースを抑えるべきだとの呼びかけを支持している。AIシステムの能力が高まるにつれ、開発者がシステムを理解・制御するよりも速いペースで改良し続けられるのかという懸念が高まっているためだ。
Anthropic CEO Dario Amodei氏も、フロンティアAI企業間のさらなる連携を求めており、独立した評価や共通の安全基準などを挙げている。
この議論には価値があると思う。しかしサイバーセキュリティの観点からは、AIの次世代を待っていられない別の問題がある。
組織はすでにAIエージェントに認証情報を与え、システムへのアクセスを許可している。エージェントは、人間の関与が限られた状態でアクションを実行することもできる。
つまりAIセキュリティは、将来の理論上の問題ではなく、今すぐ対処すべき運用上の問題になっている。
AI安全性はアクセス制御の問題になりつつある
AnthropicのClaudeに関する最近のインシデントは、自律システムが意図された環境の外で動作すると何が起こり得るのかを示している。
Anthropicは、複数の評価中に自社モデルが実在する第三者システムへ不正にアクセスしたことを明らかにした。
その後、同社は調査対象をおよそ4億8100万件のトランスクリプトに拡大し、運用上のセキュリティとモデルの挙動に関する弱点を認めた。
私にとって、ここがAI安全性の議論がサイバーセキュリティチームにとってずっと身近なものに見え始める地点だ。
Manifold SecurityのCTO兼共同創業者であるOleksandr Yaremchuk氏は、eSecurityPlanetへのメールで、フロンティア開発の減速は、組織がすでに導入したエージェントの保護に取って代わるものではないと指摘した。
「フロンティアのペースを抑えることは、今こそ議論すべき正しいテーマだ。しかし、それがすでに世に送り出したAIを保護する代わりになってはならない」とYaremchuk氏は述べた。
同氏は自律型AIを危険物にたとえた。
組織は、危険物がさらに危険になるまで待ってから、誰が管理責任を負い、誰がアクセスできるかを決めるわけではない。また、物質がどこへ移動したかを監視し、問題が起きた場合の責任の所在も明確にする。
この類推はAIエージェントにもよく当てはまる。
エージェントが本番インフラとやり取りできるなら、セキュリティチームはエージェントが保有する認証情報と、到達可能なリソースを把握しておくべきだ。チームはエージェントが何をしたかも確認でき、必要に応じて速やかにアクセスを無効化できなければならない。
人間やマシンのアイデンティティに適用する原則が、アクションを実行する主体がたまたまAIだったというだけで消えてはならない。
自発的なガードレールはインセンティブの問題に直面する
競合するAI企業に開発を自発的に減速するよう求めることには、実際的な課題もある。
Black Hills Information Securityのサイバーセキュリティ研究者、Jeremiah Fowler氏は、開発を正反対の方向へ推し進める、極めて大きな競争上のインセンティブを指摘している。
「不都合な真実は、AI企業には競合他社より優れた先進モデルを開発するインセンティブがあるということだ」とFowler氏は述べた。
企業が市場での地位を失うことを恐れる状況では、自発的な自制は難しくなる。
Fowler氏は、実効性のあるガードレールには、強制力のある最低限の安全基準を定め、独立したテストと監査を義務付けるべきだと主張している。また、人間を関与させたまま、自律的な権限を制限すべきだという。
一部のAI開発企業は、すでにより強固な評価フレームワークへ移行しつつある。例えばAnthropicは、安全対策とセキュリティに焦点を当てたResponsible Scaling PolicyとFrontier Safety Roadmapを維持している。このロードマップはアラインメントとポリシーも扱っている。
同社はまた、業界全体で足並みをそろえて開発ペースを調整するには、法律を順守し、独立した検証を受けられる必要があると述べている。政府と業界の協力も必要になる。
独立した評価は、特にモデルがますます高度なタスクを実行できるようになる中で、さらなる監視の層を提供できる可能性がある。
しかし、評価だけでは企業内で稼働するAIエージェントを保護できない。
組織はすでに導入しているAIを保護すべきだ
セキュリティ責任者にとって、この議論には別個の問題が2つある。
業界は、ますます強力になるフロンティアモデルを安全に開発する方法を見いだす必要がある。
一方、組織は、すでに環境に接続されているAIシステムをどう制御するか決めなければならない。
そのためには、自律型エージェントを単なるソフトウェア機能の一つではなく、特権アイデンティティとして扱う必要がある。
タスクに必要な権限だけを与え、使用する認証情報を保護するべきだ。アクションも記録し、セキュリティチームが異常な挙動を監視できるようにする必要がある。
組織は、エージェントが自律的に実行できる範囲に明確な境界を設けるべきだ。必要な場合に人間が直ちにアクセスを終了できる手段も用意しなければならない。
Yaremchuk氏は、この課題を3つの簡潔な問いにまとめている。
- エージェントは何をしたのか。
- 何にアクセスできたのか。
- 止めることはできたのか。
私はもう1つ加えたい。止める必要があると、どれほど迅速に把握できるのか。
AI安全性をめぐるより大きな議論の決着には時間がかかる。セキュリティチームは、その議論によって、エージェントをどう監視し、何にアクセスさせ、いつ人間が介入すべきかが決まるのを待ってはいられない。
ゼロトラストを適用することで、組織はAIエージェントやその他のアイデンティティがアクセスできる範囲を制限しつつ、そのアクセスを許可すべきかどうかを継続的に検証できる。