人工知能（AI）アシスタントは、職場の生産性を支える中核的な存在になりつつある。しかし、新たな研究によれば、これまで見過ごされてきたフィッシング経路を生み出す可能性もある。
Permisoの研究者らは発見した。メールに埋め込まれた攻撃者が制御するテキストが、クロスプロンプトインジェクション攻撃（XPIA）を通じてMicrosoft Copilotの要約を操作し、信頼されているAIインターフェースに、欺瞞的なセキュリティ警告や悪意あるプロンプトを挿入する可能性があるという。
「最も興味深かった発見は、Copilotが攻撃者の指示に従ったことではありません。アシスタントのUI内に表示された途端、出力がどれほど説得力を増したかという点です」と、Permisoの脅威研究者であるAndi Ahmeti氏はeSecurityPlanetへのメールで述べた。
同氏はさらに、「ユーザーは何年もかけて不審なメールを疑うことを学んできましたが、その警戒心はAIが生成した要約には向きません。攻撃者に必要なのは、アシスタントに権威ある口調で話させることだけです」と付け加えた。
Copilotのプロンプトインジェクションリスク
MicrosoftのCopilotなどのAIアシスタントは、OutlookやMicrosoft TeamsをはじめとするMicrosoft 365サービス全体で、日常的な生産性向上のワークフローに深く組み込まれつつある。
メール要約のような機能を使えば、従業員は長いスレッドの内容をすばやく把握し、返信の優先順位を付け、関連する文書や会話からコンテキストを収集できる。
大量のコミュニケーションを管理する組織にとって、こうしたツールは、メッセージの確認やチーム間の調整にかかる時間を減らし、効率を高められる。
AIが信頼できないメールコンテンツを処理する場合
しかし、この利便性は新たなセキュリティ境界も生み出す。AIシステムは、未知の送信者や悪意を持つ可能性のある攻撃者から送られたメールなど、信頼できない外部コンテンツの解釈や要約を求められることが多いからだ。
Copilotの挙動を調べた研究では、メールに埋め込まれた攻撃者の指示が、アシスタントによる要約の生成方法に影響を及ぼす場合があることが示された。
特定の状況では、こうした指示によって出力の方向が変えられ、誤解を招くコンテンツや悪意あるコンテンツがCopilotのインターフェースに直接入り込む可能性がある。
クロスプロンプトインジェクションがAI要約に及ぼす影響
これは、AIを活用する環境でフィッシング攻撃がどのように展開されるかの転換を意味する。従来、フィッシングキャンペーンは、偽装メッセージや悪意ある添付ファイル、メール本文に直接埋め込まれた欺瞞的なリンクに依存していた。
AIアシスタントがワークフローに組み込まれると、攻撃者は代わりにアシスタントの語り口や信頼性を操作し、それを使って、システムが生成したように見えるソーシャルエンジニアリングメッセージを届けようとする可能性がある。
この操作の背後にある手法はクロスプロンプトインジェクションと呼ばれ、コンテンツに埋め込まれた隠れた指示によって、大規模言語モデルがその情報を処理または要約する方法に影響を与える。
ユーザーがOutlookやTeamsでCopilotにメールの要約を依頼すると、アシスタントはメッセージ本文全体を分析する。そこには攻撃者が提供したテキストも含まれる。
モデルがそのテキストを単なるコンテンツではなく指示として解釈すると、それに応じて生成される要約が変更される可能性がある。
Copilotの各インターフェースにおける違い
研究者らは、メールコンテンツの要約に使われる一般的なCopilotインターフェースを3種類評価した。Outlookの「要約」ボタン、OutlookのCopilotチャットペイン、Microsoft TeamsのCopilotである。
ユーザーから見るとこれらの機能は似ているが、テストでは、インターフェースごとに安全性への対応がわずかに異なることが明らかになった。
場合によっては、Outlookに組み込まれた要約機能が不審な指示を検出して要約の生成を拒否し、防御メカニズムが作動したことを示した。
一方、特にメールにより長く現実的なコンテンツが含まれていた場合、別のシナリオでは応答の予測が難しくなった。通常どおり生成された要約もあれば、注入された指示の断片が含まれる要約もあった。
TeamsのCopilotインターフェースは、テストにおいて攻撃者が提供したコンテンツを再現する可能性が最も高かった。
その場合、アシスタントは一見正常な要約を生成したうえで、メールに埋め込まれた隠れた指示の影響を受けた追加テキストを付加した。
AI要約がフィッシングチャネルになるとき
あるシナリオでは、攻撃者がメールに隠れた指示を埋め込み、Copilotに「対応が必要」や「セキュリティ警告」といったフィッシング風の警告をAI生成の要約に直接追加させた。
その警告は、アカウントのアクティビティを確認したり、本人確認情報を保護したりするようユーザーに指示するもので、即時の対応を促すリンクやボタンを伴うことが多かった。
メッセージはCopilotが生成した要約パネル内に表示されるため、攻撃者が操作したコンテンツではなく、正規のシステム通知に見える可能性がある。
不審なメールメッセージを疑うよう訓練されてきたユーザーほど、自組織のワークフローに統合されたAIアシスタントが提示する通知を信頼しやすくなる可能性がある。
研究者らは、今回の発見が実環境で広範に悪用されていることを示すものではないと強調した。
しかし、その結果は、攻撃者がモデルの出力に影響を与えられる場合、AIを活用した生産性向上ツールが新たなソーシャルエンジニアリングの機会を生み出し得ることを示す、現実的な概念実証型の攻撃経路を明らかにしている。
AI支援型フィッシングのリスクを低減する
AIアシスタントが日常のワークフローにさらに統合されるにつれて、組織は、こうしたツールが生産性向上のメリットと同時に、新たなセキュリティ上の考慮事項をもたらすことを認識すべきだ。
多層的な制御の導入、AI出力の監視、ユーザー教育によって、プロンプトインジェクションやAI支援型フィッシングのリスクを低減できる。
- Microsoftの最新パッチを適用し、本番環境に展開する前にステージング環境でテストする。
- 最小権限の原則に基づきCopilotへのアクセスと権限を制限する。RBACや条件付きアクセス ポリシーも利用し、AI要約機能を利用できるユーザーとデバイスを限定する。
- Copilotがアプリケーション間のデータを取得する機能を制限する。Teams、OneDrive、SharePointなどのソースからの取得は、必要な場合を除いて制限することで、プロンプトインジェクションの試みが及ぼし得る影響を抑えられる。
- メールセキュリティ制御とコンテンツフィルタリングを導入する。メールコンテンツに埋め込まれた隠れた指示、HTML難読化技術、プロンプトインジェクションのパターンを検出するためだ。
- CopilotのアクティビティとAI生成要約を監視し、不審なリンク、異常な指示、通常とは異なる出力をEDR/XDRや行動分析ツールを使って検出する。
- ユーザー啓発トレーニングを実施し、AI生成要約を権威あるシステムメッセージではなく、元の情報を解釈したものとして扱うよう従業員に教える。
- インシデント対応計画を定期的にテストし、攻撃シミュレーションソリューションを使って、AIを活用したフィッシングやプロンプトインジェクション攻撃を想定したシナリオを実施する。
これらの対策を組み合わせることで、組織はAI支援型フィッシングやプロンプトインジェクションのリスクへの露出を抑えながら、AIを活用した生産性向上ツールを狙う脅威に対する全体的なレジリエンスを高められる。
AIアシスタントがもたらす新たなセキュリティリスク
プロンプトインジェクションの手法はMicrosoft Copilotに限らず、Google Workspaceに統合されたAIツールなど、他の生産性向上プラットフォームでも実証されている。
AIアシスタントが企業のワークフローにさらに統合されるなか、組織は、こうしたシステムが信頼できない入力をどのように処理し、その入力が生成される出力にどのような影響を及ぼし得るのかを検討し始めている。
AIアシスタントを導入する企業は、適切な制御と監督を整備し、こうしたツールが攻撃者の指示を意図せず強化したり増幅したりしないようにすべきだ。
セキュリティチームの多くは、さらにゼロトラストソリューションを活用して、ID検証、アクセス制御、データ保護の強化を図っている。