組織が調査や意思決定でAIアシスタントに依存する傾向を強める中、攻撃者は基盤モデルを侵害せずにAI生成回答へ影響を及ぼす新たな手段を手に入れた可能性がある。
Lasso Securityの新たな調査は、生成エンジン最適化（GEO）、つまりAI生成回答にコンテンツを含めるための最適化手法が、公開されているウェブコンテンツを通じて、虚偽または有害な情報を拡散するよう悪用される可能性を示している。
GEOポイズニング調査の主なポイント
- 研究者らは、基盤となるAIモデルを侵害せずに、生成エンジン最適化（GEO）を使って攻撃者がAI生成回答を操作できることを実証した。
- この攻撃は公開されているウェブコンテンツに依存し、偽の編集部推薦や裏付けとなる情報源などの手法を使ってAIの回答に影響を与える。
- テストした5つのAIモデルのうち、Llama-4-MaverickとGPT-4o-miniが最も影響を受けやすく、GrokとClaude Haikuは強い耐性を示した。
- 偽の編集部推薦が最も効果的な手法で、Llama-4-Maverickはテストの最大98％で虚偽の主張を拡散した。
- 組織は、取得したコンテンツの妥当性を確認し、情報源の信頼性を検証するとともに、強固なAIガバナンスとコンテンツ検証の仕組みを導入することでリスクを低減できる。
GEOがAIの攻撃対象領域を拡大
GEOは、従来の検索エンジン最適化（SEO）に相当するAI向けの手法だ。
検索結果で上位に表示されることを目指すのではなく、GEOは、ChatGPT、Gemini、Perplexity、ClaudeなどのAIアシスタントが、生成する回答の中で特定のコンテンツを引用・要約する可能性を高めることを目指す。
AIアシスタントがユーザーの質問に答えるためウェブから情報を取得するケースが増える中、取得したコンテンツは回答に大きな影響を及ぼし得る。
研究者らは、正当なGEO手法が、虚偽情報の可視性を高めるために悪用される可能性があるかを検証した。
従来のプロンプトインジェクション攻撃やモデルの侵害とは異なり、この攻撃に必要なのは、一般的なGEO手法で最適化された公開ウェブページだけであり、AIモデルやアプリケーション自体へのアクセスは必要ない。
GEO操作に対するAIモデルのテスト
リスクを評価するため、研究者らはグルテンフリーレシピを扱う一見正当なウェブサイトを作成し、その中に「コロイド銀がセリアック病を治療できる」という意図的に虚偽の医学的主張を1つ含めた。
その主張は、構造化フォーマット、捏造した統計、偽の専門家推薦、裏付けとなる編集コンテンツなど、標準的なGEO手法を使って強化された。
実験では、5つの実運用AIモデル（GPT-4o-mini、Llama-4-Maverick、DeepSeek-R1、Grok、Claude Haiku 4.5）を対象に、5,525回のテストを実施した。
研究者らは、モデルが悪意あるコンテンツを引用したか、また回答内でその虚偽の医学的主張を拡散したかを測定した。
結果には大きなばらつきがあった。Llama-4-Maverickが最も影響を受けやすく、GPT-4o-miniも重大な脆弱性を示した。
DeepSeekは部分的な耐性を示した一方、GrokとClaude Haikuは操作の試みに一貫して抵抗した。
編集部推薦が最大の影響
評価した24種類のGEO手法のうち、捏造した編集部推薦が最も効果的だった。
研究者らが悪意あるウェブページを、同じ主張を繰り返す複数の偽編集記事で取り囲んだところ、Llama-4-Maverickはテストの92％で虚偽情報を拡散した。
編集部推薦とリスティクル形式を組み合わせると、成功率は98％に上昇した。
GPT-4o-miniも影響を受けやすくなり、同じ組み合わせを使った場合、テストの84％で虚偽の主張を拡散した。
研究者らは、裏付けとなるコンテンツが攻撃者の管理するウェブサイトに由来していた場合でも、AIモデルが複数の情報源にまたがって繰り返される主張を、信頼性の証拠として扱うことが多いと突き止めた。
この調査結果が重要な理由
この調査は、組織や消費者がAI生成回答をますます信頼する中で、拡大するセキュリティ上の課題を浮き彫りにしている。
従来のサイバー攻撃と異なり、GEO操作には脆弱性を悪用したり、システムを侵害したりする必要がない。
攻撃者はその代わりに、最適化したウェブページを公開し、独立した複数の情報源による裏付けがあるように見せるだけで、AI生成コンテンツに影響を及ぼせる。
研究者らは、この手法が、ユーザーがAI生成情報の正確性を確認せずに信頼してしまう可能性がある、過度な依存のリスクに関するOWASPのガイダンスに沿うものだと指摘している。
組織がリスクを低減する方法
Lasso Securityは、取得したウェブコンテンツを権威ある情報として自動的に受け入れるのではなく、信頼できない入力として扱うことを推奨している。
AIアプリケーションを構築する組織は、取得した情報をAIの推論や自動化ワークフローに組み込む前に、コンテンツの検証とフィルタリングを実施すべきだ。
AIシステムは、ユーザーが引用情報の信頼性を独自に評価できるよう、透明性のある情報源の帰属表示も提供すべきである。
最後にユーザーは、健康、金融、法律に関する助言など重要な主張について、AI生成回答だけに頼らず、信頼できる一次情報源と照合すべきだ。
結論
この調査は、組織がAIでの可視性を高めるために利用しているものと同じ最適化手法が、AI生成回答の操作にも悪用され得ることを示している。
AIコンテンツの操作を抑えるには、取得情報の検証を強化し、信頼できる情報源についての透明性を高める必要がある。
強固なAIガバナンスは、AIシステムが信頼性、透明性、確実性を備えた出力を生成するために不可欠となっている。