説得力のあるフィッシングメッセージや悪意あるスクリプトは、従業員が日常業務で使っているものと同じ種類のAIアシスタントから生成される可能性がある。
悪意あるAIツールには、サイバー犯罪向けに販売されているサービスと、攻撃を支援する目的で意図的に悪用される正規のシステムがある。セキュリティチームにとって問題となるのは、こうしたツールが攻撃者による誘い文句の準備やコードの開発、侵害済みシステムの操作をどう支援するか、そしてどの防御策でそれを阻止できるかだ。
悪意あるAIツールとは何か。
この解説では、攻撃者によるAIの使い方を見分けるため、重なり合う3つのカテゴリーを取り上げる。
- 犯罪向けに販売されるサービス：フィッシングや詐欺、マルウェアへの支援をうたうツールで、安全対策が少ないことを売りにする場合が多い。
- 悪用される正規のアシスタント：有害な目的に使われる汎用モデル。ジェイルブレイクと呼ばれる、安全制限の回避を試みる手法が使われることもある。
- AIに接続された攻撃ワークフロー：ソフトウェアツールと連携したモデルが、結果を解釈し、後続の作業を実行できるようにする仕組み。
これらのカテゴリーは重なり得る。「無検閲」というラベルやオープンモデル、ローカル環境への導入だけで、犯罪意図があるとは判断できない。
研究者が確認した実態。
Microsoft Threat Intelligenceによる2026年3月の分析では、攻撃者がAIを使ってフィッシングメッセージを作成し、コンテンツを翻訳し、盗んだ情報を要約し、コードを生成またはデバッグしていたことが示されている。活動の多くは既存の作業を加速させたもので、標的の選定と展開は人間が引き続き管理していた。
犯罪者向けに宣伝されたサービスも、別の例を示している。 2025年12月の調査で、Resecurityはテスト中にDIG AIが不正なコンテンツや悪意あるスクリプトを生成したと報告した。その中には、脆弱なWebアプリケーションにバックドアを仕掛けるためのスクリプトも含まれていた。
本稿で取り上げる DIG AIと犯罪目的の悪用について調査したResecurityのテスト結果は、同サービスが有害なコンテンツを生成したことを示している。スクリプトを生成できたからといって、実際の標的への侵害に成功したことにはならない。
さらに、自動化された悪用の増加も報告されている。 2025年11月の開示で、Anthropicは攻撃者がClaude Codeを操作し、約30件の標的への侵入を試みさせたと明らかにした。少数のケースでは成功していた。
Anthropicはこのキャンペーンを、中国の国家支援を受けるグループによるものとした。標的の選定と重要な段階での介入は人間が行い、モデルは資格情報を捏造したり、公開情報を秘密情報と誤認したりすることがあった。
実際の侵入における AIの利用を評価する際には、こうした違いが重要になる。攻撃を支援したからといって、自律的に動作したとは限らない。
実証された能力と宣伝文句を区別する。
販売業者が「検知不能」とうたうマルウェアが、本当に機能するかどうかは、その宣伝文句だけでは分からない。脅威レポートを検証する際は、次の点を確認したい。
- 出力が生成されただけなのか、それとも実行の成功が確認されたのか。
- 攻撃者は、どの資格情報、権限、脆弱性をもともと持っていたのか。
- どの判断に人間の介入が必要だったのか。
- 何が失敗し、研究者はその結果を再現できたのか。
これらの回答をもとに、自社環境との関連性を判断する。運用中のシステムが関わる検証済みの侵入と、裏付けのない宣伝とでは、取るべき対応は異なる。
自社のAIが標的になることもある。
攻撃者は、従業員がすでに信頼しているアシスタントを操作することもできる。間接的プロンプトインジェクションとは、メールなど、AIシステムが処理する外部コンテンツに悪意ある指示を仕込む手法だ。
2026年3月の テストで、Permisoの研究者は、メールに埋め込まれた指示がCopilotの要約に影響を与えるケースを確認した。その中には、偽のセキュリティ警告コンテンツも含まれていた。結果はインターフェースによって異なり、一部の試みはブロックまたは無視された。
本稿で取り上げる AIによるメール要約を介したフィッシングについての調査結果は、アシスタントの出力が、それを表示するアプリケーションの権威を自動的に受け継ぐわけではない理由を示している。
アシスタントが読む外部コンテンツ、接続されたツールがアクセスできる対象、そして人間の承認が必要な操作を確認する。
テスト可能な制御を強化する。
まず、アイデンティティと業務プロセスから着手する。 CISAが推奨するフィッシング耐性MFAには、ハードウェアベースのFIDOやPKI方式が含まれる。特権アクセスを優先的に保護し、支払い情報の変更や承認を回避する要求については、独立した検証を必須にする。
アナリストには、具体的な調査のトリガーを提示する。予期しないMFA要求、新たに登録された認証方式、機密ファイルへの異常なアクセス、説明のつかないスクリプト、許可されていないAIコネクターなどだ。これらの兆候はAIの関与を証明するものではないが、どのように準備されたかにかかわらず、有害な活動を明らかにできる。
次に、現実的な対応演習を実施する。従業員が説得力のあるフィッシングページに資格情報を入力した場合、対応担当者はそのアカウントを特定し、不正なアクセスを取り消し、どこまでアクセスされたかを把握できるだろうか。担当者を割り当て、ログの取得範囲を確認し、封じ込めまでの時間を測定する。そのIDがバックアップや管理機能、決済システムにもアクセスできる状態ではなかったかを確認する。
AIの導入にも同じ規律を適用する。アシスタントの権限を業務に必要な範囲に制限し、重大な操作には承認を求め、外部コンテンツに含まれる悪意ある指示への対応をテストする。調査中にエージェントやコネクターを停止できる担当者を明確にする。
重要なのは、資格情報の窃取、不正な操作、データ漏えいを封じ込める能力をテスト済みの状態にすることだ。AIが攻撃者を支援したかどうかは調査するが、直ちに取るべき対応は、確認された挙動を基準に判断する。
AIのヒントや裏技、プロンプト作成のテクニックをもっと学びたいですか？eSecurity Planetの読者は、業務でより自信を持ってAIを使えるよう支援する実践的な学習プラットフォーム、The Neuron Academyを7日間無料で利用できます。すべてのレッスンを見る →
無料で学べる「AIとの話し方」をこちらですべてのレッスンをチェック →。