ChatGPTに与えるアクセス権限が多いほど、AIをだまして誤った指示に従わせた攻撃者が悪用できる範囲も広がる。
Check Pointが新たに発表した調査は、ChatGPTのコード実行環境と接続アプリを調べることで、このリスクを明らかにした。研究者は、仕込まれた指示によって、被害者のセッションが既存の権限を使って隠れたタスクを実行し、その結果を別のChatGPTアカウントに中継できることを示した。
この攻撃では、盗んだパスワードも、データ転送用に攻撃者が管理するサーバーも必要なかった。研究者が発見したのは、本来は分離されているはずのChatGPTのコード実行環境が、内部のパッケージサービスにある共有メタデータを通じて情報を交換できることだった。これにより攻撃者は、コマンドの送信と結果の受信に使える隠れた通信経路を手に入れられる。
攻撃の仕組み
Check Pointによると、攻撃者は次の3つの方法のいずれかを使って悪意ある指示を送り込むことができる。
- ユーザーは悪意あるプロンプトをチャットに貼り付けられる
- ユーザーはすでに指示が含まれている共有会話を開ける
- ユーザーは設定に指示が隠されたカスタムGPTを使える
指示が仕込まれると、被害者が普段と違う操作をする必要はない。通常のメッセージを1通送るだけで、ChatGPTはユーザーの質問に答えながら、攻撃者のために別の隠れたタスクも実行できてしまう。
Check Pointの概念実証では、悪意ある指示によって、異なるコード実行環境からアクセスできる内部パッケージサービスのメタデータに保存された攻撃者のコマンドをChatGPTに確認させた。被害者が通常のメッセージを送ると、ChatGPTは表向きの要求に答える一方で、隠れたコマンドを別途取得して実行し、同じ隠れた通信経路を通じて結果を返した。
攻撃者が取得できる情報量は、被害者のChatGPTセッションにどのようなアクセス権限がすでに与えられているかによって決まる。Check Pointの実演では、ChatGPTが被害者の接続済みGmailアカウントからメールデータを取得し、攻撃者に中継した。
同様のことは以前にも起きている
隠れた指示によってAIエージェントから情報を漏えいさせられることを研究者が示したのは、今回が初めてではない。
ShadowLeakという攻撃をRadwareが2025年9月に実演した。この攻撃では、悪意あるメールに隠された指示によって、Gmailへのアクセス権を与えられたChatGPTのDeep Researchエージェントが受信トレイから機密情報を取得し、ユーザーに知られないまま攻撃者が管理するサーバーに送信した。
以前の攻撃は間接的なプロンプトインジェクションに依存しており、悪意ある指示はユーザーが直接入力するのではなく、AIに読み取らせるコンテンツの中に仕込まれていた。Check Pointの調査も関連するパターンに沿っているが、盗んだ情報を移動させる経路は異なる。
一見、解決不能なAIの問題
プロンプトインジェクションは長年、AIにとって最大級のセキュリティ問題の1つであり、その仕組みはソーシャルエンジニアリングによく似ている。システムを破るのではなく、攻撃者はAIをだまして本来してはいけないことをさせようとする。
OpenAIはその問題がいかに困難かを認めており、「ウェブ上の詐欺やソーシャルエンジニアリングと同様、プロンプトインジェクションが完全に解決される可能性は低い」と述べている。
理由は単純だ。プロンプトインジェクションは、AIを役立つものにしている能力、つまり指示を理解して従う能力そのものを標的にする。
AIがユーザーの要求とともにメールやウェブページ、文書を読み取る場合、攻撃者はそのコンテンツに悪意ある指示を隠し、それを正当なものに見せかけることができる。そのため、モデルが信頼できる指示と悪意ある指示を確実に区別するのは難しい。
なぜ注意が必要なのか
Check Pointが報告書を完成させた時点で、アカウント間の通信経路はすでに利用できなくなっており、OpenAIも関係していた内部のArtifactoryインスタンスを廃止したことを認めている。しかし、この調査は、ChatGPTなどのAIアシスタントがより機密性の高いサービスにアクセスするようになることで広がるリスクを示している。より大きな懸念は、ChatGPTなどのAIアシスタントがあなたのデジタル生活にさらに深くアクセスするようになったときに何が起きるかだ。
メール、ファイル、業務用ツール、さらにはデバイス全体が、いまやAIプラットフォームに統合されている。これによってAIはより便利になる一方、攻撃者が悪用できる経路も増え、プロンプトインジェクションを使い続ける動機も強まる。
ユーザーやセキュリティチームにとって、これは攻撃者がパスワードを盗まなくても、悪意ある指示がデータセキュリティ上のインシデントになり得ることを意味する。AIアシスタントがアクセスできるメールやファイル、業務サービスが多いほど、見過ごされた欠陥を通じてさらされる可能性のある情報も増える。
実際にすべきことはAIアシスタントに接続されているサービスを見直すこと、不要なアクセス権を削除し、利用可能であればより厳格な確認設定を有効にすることだ。例えばOpenAIの「常に確認」設定では、接続されたアプリが操作を実行する前に承認を求められる。AIに与える権限が少ないほど、プロンプトインジェクションが成功した場合に攻撃者が悪用できる可能性も小さくなる。
ユーザーは、共有チャットやカスタムGPT、出所不明のプロンプトを操作する際にも注意が必要だ。Check Pointが想定した共有会話のケースでは、被害者が会話を開いてメッセージを送った後に隠れたタスクが起動した。不慣れなAIコンテンツを操作する前に、その出所を確認し、セッションがどの接続サービスにアクセスできるかを検討すべきだ。