Anthropicの最新のClaude AIアップグレードは生産性を高める一方で……セキュリティリスクももたらす。
同社の新しいファイル作成機能を使えばチャット内で文書を生成できるが、Anthropic自身のドキュメントは、ユーザーデータにとってリスクとなる可能性を警告している。
Anthropicは最近のアドバイザリーで、「悪意ある攻撃者が外部ファイルやウェブサイトを通じて、気づかれない形で指示を加える可能性がある。その指示によってClaudeがだまされ、信頼できないコードをダウンロードして実行したり、機密データを読み取って漏えいさせたりする恐れがある」と警告した。
新機能とは何か？
アップグレードされたファイル作成・分析機能は、限定的なインターネットアクセスを備えたサンドボックス化されたコンピューティング環境をClaudeに提供する。
この設計により、アシスタントはリポジトリから依存関係を取得してコードを実行でき、機能性が高まる一方、悪意ある指示に対する新たな攻撃対象領域が生まれる。
プロンプトインジェクションのリスク
主なリスクはプロンプトインジェクションだ。プロンプトインジェクションは、大規模言語モデルがデータ、指示、隠れたディレクティブなど、あらゆる入力を同じコンテキストの一部として扱う点を悪用する。
脅威アクターは、アップロードされたファイルやリンク先のウェブサイト、さらには無害に見えるテキストの中に悪意あるコマンドを埋め込める。Claudeがこの入力を処理すると、隠された指示がユーザーの意図を上書きし、安全でない操作を引き起こす可能性がある。
Anthropicは、ファイル生成のためにサンドボックスが本質的に任意のスクリプト実行をサポートしているため、プロンプトインジェクションによってClaudeが信頼できないコードを実行させられる可能性があると警告している。
もう1つの懸念は、攻撃者が機密データを抜き出す可能性だ。Claudeがプロジェクトファイル、MCP統合、クラウドに接続されたデータなどのナレッジソースに接続されている場合、プロンプトインジェクションによってモデルに機密コンテンツを解析させ、明らかにさせることができる。
モデルは「これは共有しないで」と「これを外部出力にコピーして」を確実に区別できないため、機密情報が意図せず露出する可能性がある。
プロンプトインジェクションは、データの窃取を可能にすることもある。限定的なインターネットアクセスを利用して、Claudeが盗み出したデータを攻撃者の管理下にあるサーバーへ送信する外向きのHTTPリクエストを実行させられる可能性がある。つまり、専有文書やAPIキーなどの機密情報が、外部の隠れた経路を通じて漏えいする恐れがある。
こうしたリスクが生じるのは、サンドボックスがClaudeに、強固なガードレールなしで意味のある計算やネットワーク通信を実行できるだけの自律性を与えるためだ。
Anthropicはこの問題にどう対処しているのか？
Anthropicはタスクの実行時間を制限し、エンタープライズ向けサンドボックスを分離し、外向き通信先ドメインの許可リストを提供しているものの、これらは完全な防御ではなく、単なる緩和策にすぎない。ユーザーが機密性の高い企業データを扱う際にこの機能を有効にすると、巧妙に細工されたファイルやリンクが人間による監視をすり抜け、情報を漏えいさせる可能性がある。
この脆弱性は、コンテキストウィンドウのセキュリティという未解決の課題を浮き彫りにしている。モデルはデータと指示を一緒に処理するため、正当なタスクを妨げずに悪意ある入力を遮断するのは難しい。これにより、接続されたあらゆる統合がデータ漏えいの潜在的な経路となる。
文書化された脆弱性を抱える機能をAnthropicがリリースしたことは、AI業界の競争を動かす「まず出荷し、セキュリティは後で」という発想を浮き彫りにしている。
独立研究者のSimon Willisonはこのアプローチを批判し、Anthropicがユーザーに「この機能の使用中はClaudeを監視する」よう求めているのは「問題を不当に外部委託している」と書いた。
リスクを減らす方法
Anthropicは、エンタープライズテナント向けのサンドボックス分離、この機能を使った会話の一般公開の無効化、悪用ループを防ぐためのタスク実行時間の制限など、いくつかの緩和策を導入している。
セキュリティチームは、以下の先回りした対策を講じることで、Claudeのファイル作成機能のリスクをさらに低減できる。
- Claudeの導入環境を監査するとともに、扱うデータの機密性に基づいてファイル作成を有効にするか判断する。
- 許可リストを適用することで外向きのネットワークリクエストを制限し、サンドボックスの動作を定期的に確認する。
- アクティビティログを監視することで、不正なデータアクセスやデータ窃取の試みの兆候を確認する。
- スタッフを教育するとともに、プロンプトインジェクションの脅威について周知し、AIの悪用に備えたインシデント対応手順を整備する。
プロンプトインジェクションには依然として恒久的な解決策がなく、多層的な防御で保護しない限り、AIツールはデータ漏えいの危険にさらされる。教訓は明確だ。AIを進歩させるには、後から付け足すのではなく、あらゆる層にセキュリティを組み込まなければならない。
AIは常に単なるリスクとは限らず、セキュリティチームの力にもなります。サイバーセキュリティにおけるAIの主な課題とメリットをご覧ください。