Proofpointの研究者らは発見した。サイバー犯罪者が、AIシステムが日常的に処理するメール、文書、カレンダー招待、Webページの中に悪意ある指示を隠すためのツールを開発・販売していることを
これにより、攻撃者はユーザーが直接操作しなくてもAIエージェントを操れる可能性がある。
「こうした広告や議論からは、今後数カ月のうちに組織が目にする可能性の高い新たな手法が明らかになっている。例えば、カレンダー招待にIDPIを含めたり、マルバタイジング攻撃チェーンに組み込んだりする手法だ」と、研究者らは分析で述べている。
プロンプトインジェクションに関する調査結果の要点
- サイバー犯罪者は、メール、文書、カレンダー招待、Webページを通じてAIシステムを標的とするIDPIツールを開発・販売している。
- IDPIは、AIエージェントが外部コンテンツを処理する際に、直接的なユーザー操作を必要とせず、その動作を操る可能性がある。
- 脅威アクターは、フィッシング、悪意ある文書、カレンダー招待、マルバタイジングでIDPIを試しているが、広範な悪用はまだ確認されていない。
- 組織は、AIエージェントの権限を制限し、エージェントの活動を監視するとともに、機密性の高い操作を管理し、プロンプトインジェクションを想定したインシデント対応計画をテストすべきだ。
間接的プロンプトインジェクションの脅威
Proofpointによると、間接的プロンプトインジェクション（IDPI）は、脅威アクターがAIシステムを標的とするツールを開発、テスト、宣伝しているアンダーグラウンドの犯罪フォーラムで注目を集めている。
報告によれば、サブスクリプション型サービスの一部は月額およそ150ドルから利用でき、悪意あるメール、PDF、カレンダー招待、Webページの生成機能を備えている。
こうしたサービスの登場は、サイバー犯罪者がIDPIをツールに組み込み、既存の攻撃チェーンに取り入れる方法を模索し始めたことを示している。
間接的プロンプトインジェクションの仕組み
プロンプトインジェクション攻撃は、一般に2つのカテゴリーに分けられる。
直接的プロンプトインジェクションは、ユーザーがAIモデルに直接入力を与え、その結果として意図しない、または予想外の動作を引き起こす攻撃だ。
間接的プロンプトインジェクションでは、メール、文書、カレンダー招待、Webページなど、AIシステムが後から処理する外部コンテンツの中に悪意ある指示が埋め込まれる。
AIエージェントが危険にさらされる理由
組織がAIエージェントに業務アプリケーション、企業データ、自動化されたワークフローへのアクセスをより広く与える中で、この違いは重要になる。
従来のフィッシングとは異なり、IDPI攻撃は従業員が悪意あるリンクをクリックしたり、攻撃者の指示に従ったりすることに依存しない可能性がある。
AIエージェントは、メールの要約、文書の確認、会議招待の処理、Webページの閲覧といった通常の作業中に、悪意あるプロンプトに遭遇する可能性がある。
エージェントに十分な権限があれば、攻撃者はその動作を操り、機密情報にアクセスしたり、許可されていない操作を実行したりできる可能性がある。
Proofpointによると、脅威アクターは現在、複数のIDPI配信手法を試している。
メールを使った攻撃
メールを使った攻撃では、メッセージの背景色と一致するテキストを使って悪意ある指示を隠すことができる。
受信者には無害に見えるメールでも、コンテンツを処理するAIアシスタントは隠されたプロンプトを検出し、解釈できる可能性がある。
PDFおよび文書を使った攻撃
PDFおよび文書を使った攻撃では、隠しテキストや埋め込み要素などの手法を使い、添付ファイル内に指示を埋め込む。
Proofpointは、AIエージェントにXLSXファイルを探して送信するよう指示しようとする命令を含むPDFを使ったテストを確認した。
これらの手法は、通常の文書閲覧時には見落とされても、AIシステムが処理する可能性のある場所に指示を置くよう設計されている。
カレンダー招待を使った攻撃
カレンダー招待を使った攻撃では、議題の一部として表示されるコンテンツなど、会議招待の中に悪意あるプロンプトを埋め込む。
招待の要約を任されたAIアシスタントは、受信者が意図的に操作しなくても、その指示を処理する可能性がある。
この手法は、攻撃者がフィッシングにカレンダー招待を悪用してきた既存の手口を基盤としながら、標的の一部を従業員から招待を処理するAIシステムへと移すものだ。
マルバタイジングおよび悪意あるWebページを使った攻撃
マルバタイジングおよび悪意あるWebページを使った攻撃では、広告やWebサイトのコンテンツに埋め込まれたプロンプトにAIエージェントをさらす可能性がある。
攻撃者は、HTML、極めて小さなテキスト、隠されたページ要素、画像のaltテキストなどに指示を配置する手法を模索している。これらは人間の訪問者には容易に見えなくても、AIエージェントによって処理される可能性がある。
研究者らによると、これらの手法はまだ広範には悪用されておらず、いくつかは依然として実験段階にある。
しかし、専用IDPIツールの開発・販売は、ほぼ仮説上の攻撃シナリオから、サイバー犯罪者による実践的な実験へと移行する重要な変化を示している。
AIエージェントが企業システムにさらに深く統合されるにつれ、組織は攻撃者がIDPIを攻撃キャンペーンに組み込む事態に備えるべきだ。
間接的プロンプトインジェクションのリスクを低減する
AIエージェントを導入する組織は、自組織の環境外から来たコンテンツに敵対的な指示が含まれている可能性を前提とすべきだ。
- エージェントの権限を制限することで、AIエージェントには想定されたタスクに必要なアクセス権と権限だけを与える。
- 信頼できる指示と外部コンテンツを分離するため、メール、文書、Webページ、カレンダー招待を信頼できない入力として扱う。
- 機密性の高い操作には承認を必須にする。例えば、ファイルの送信、権限の変更、データの削除、外部への転送開始などだ。
- 外部通信を管理するため、AIエージェントによるアクセス先を承認済みのドメイン、API、アプリケーション、ファイル共有サービスに制限する。
- 監視するエージェントの活動を監視対象には、通常と異なるファイルアクセス、外部接続、データ転送、ツールの利用、自動化された操作を含める。
- 機密データを保護するため、セグメンテーションとデータ損失防止（DLP）制御を導入し、AIエージェントがアクセス・送信できる情報を制限する。
- テストするインシデント対応計画を策定し、攻撃シミュレーションツールを使って、プロンプトインジェクションなどAIを利用した攻撃のシナリオを検証する。
これらの対策を組み合わせることで、組織は全体的なリスクを低減し、レジリエンスを高められる。
結論
より差し迫った懸念は、IDPIが、セキュリティチームがすでに管理している攻撃チェーンにどれほど速く実装されるかという点だ。
アンダーグラウンドのツールによって参入障壁が下がる中、組織は既存の対策でAIエージェントを標的とする悪意ある指示を検出し、封じ込められるかを評価すべきだ。
また、想定された範囲を逸脱して動作し始めたエージェントを調査するのに、現在のテレメトリーで十分な可視性が得られるかどうかも評価する必要がある。
1つのゼロトラストアプローチは、企業のシステムやデータ全体でアクセスを継続的に検証し、AIエージェントの権限を制限することで、こうしたリスクの一部を低減するのに役立つ。