ChatGPTをはじめとする生成AIツールは、サイバー犯罪者が説得力のあるなりすましメールを作成するために利用しており、その結果、ビジネスメール詐欺（BEC）攻撃が劇的に増加している。今回、セキュリティ研究者が、ChatGPTのようなツールが備える倫理的な制限を一切持たない「WormGPT」と呼ばれるブラックハット生成AIツールを発見した。これにより、ハッカーはAIツールを利用したサイバー攻撃をさらに容易に組み立てられるようになる。
SlashNextは、元ブラックハット・コンピューターハッカーでサイバー犯罪者の戦術に詳しいDaniel Kelley氏と協力し、悪意ある攻撃者による生成AIツールの利用について調査した。Kelley氏は、WormGPTというツールを「サイバー犯罪との関連で知られる著名なオンラインフォーラムで」発見したと、ブログ記事に記している。「このツールは、悪意ある活動に特化して設計された、GPTモデルのブラックハット版代替ツールを自称している」
セキュリティ研究者は、BEC攻撃でWormGPTがどのような性能を発揮するかを検証した。ある実験では、WormGPTに「無防備なアカウントマネージャーに不正な請求書の支払いを迫るメールを作成する」よう依頼した。
「結果は不穏なものだった」とKelley氏は記している。「WormGPTが作成したメールは、非常に説得力があるだけでなく、戦略的に巧妙でもあり、高度なフィッシング攻撃やBEC攻撃に利用できる可能性を示していた」（下のスクリーンショット）。
Kelley氏によると、WormGPTはChatGPTに似ている「が、倫理的な境界や制限がない。この実験は、初心者のサイバー犯罪者の手に渡った場合でさえ、WormGPTのような生成AI技術がもたらす重大な脅威を浮き彫りにしている」
先週、Acronisは報告したところによると、ChatGPTのようなAIツールが、今年のフィッシング攻撃を464％増加させる要因となっている。
関連記事：GPT-4でもChatGPTのセキュリティとプライバシーの問題は解消されず
WormGPTと生成AIのハッキング利用
WormGPTはGPTJ言語モデルを基盤としており、文字数制限なし、チャット履歴の保持、コードのフォーマット機能を提供する。このツールは規制されていないChatGPTの代替手段を目指しており、違法行為を追跡されずに実行できると保証している。開発者はサイバー犯罪フォーラムで、WormGPTは「ブラックハット関連のあらゆること」に利用できると主張した。
WormGPTに加え、Kelley氏とSlashNextのチームは、サイバー犯罪フォーラムを調査するなかで、懸念すべき議論のスレッドを多数発見した。
- 非倫理的なChatGPT代替としてカスタムモジュールを利用すること。フォーラムでは、ChatGPT風のカスタムモジュールが宣伝されており、ブラックハットの代替手段として明確に売り込まれている。これらのモジュールは倫理的な制約や制限がないものとして宣伝されており、ハッカーはAIを違法行為に無制限に利用できる。
- 生成AIを利用してフィッシングやBEC攻撃のメールを改良すること。ある議論では、ハッカーの現地語でメールを書き、それを翻訳したうえで、ChatGPTのようなインターフェースを使って内容を複雑かつ格式張ったものにする提案がなされていた。サイバー犯罪者は今や、特定の標的に合わせた説得力のある偽メールの作成を簡単に自動化できる。そのため検知される可能性が下がり、悪意ある攻撃の成功率が高まる。生成AI技術が利用しやすくなったことで、スキルが限られた攻撃者でも高度なBEC攻撃を実行できるようになっている。
- AIプラットフォーム向けの脱獄手法を広めること。サイバー犯罪フォーラムには、ChatGPTなどのAIプラットフォーム向けの「脱獄（jailbreak）」を中心とした議論も数多く存在する。こうした脱獄手法には、AIシステムをだまして、機密情報を漏えいさせる可能性のある出力や不適切なコンテンツを生成させたり、悪意あるコードを実行させたりするために、巧妙に作成された指示が含まれる。
具体的な情報源や訓練方法は明らかにされていないものの、WormGPTはマルウェア関連情報を含む多様なデータセットで訓練されたと報じられている。AIツールによって、より自然で戦術的にも巧妙なメールを作成できるようになったことで、BEC攻撃の有効性が高まり、高度なフィッシングやなりすまし攻撃を支援するツールの可能性に懸念が生じている。
一部のセキュリティ研究者は、大規模言語モデル（LLM）の能力を利用して、オンデマンドでゼロデイエクスプロイトを生成するAI搭載ワームの可能性を懸念している。このようなワームは数秒のうちに、何千もの異なる攻撃手法をテストし、試行できる可能性がある。従来のワームとは異なり、常に新たな脆弱性を探し続けることも考えられる。
この終わりのないエクスプロイト探索によって、システム管理者は脆弱性を修正してシステムを安全に保つ時間をほとんど、あるいはまったく確保できなくなり、広範なシステムが悪用可能な状態に置かれ、甚大な被害が広がる恐れがある。AI搭載ワームの速度、適応力、持続性によって、サイバーセキュリティ防御に対する警戒心の強い先 proactive な取り組みの必要性が高まっている。
AI主導のBEC攻撃に対抗する
AI主導のBEC攻撃という高まる脅威に対抗するため、組織は次のようなセキュリティ対策を検討する必要がある。
- 専門的なBEC研修プログラムを導入する。
- 社内の幹部やベンダーになりすました外部メールを検知するDMARCなどのメール認証方式を利用する
- メールシステムに組み込まれたゲートウェイは、BEC攻撃に関連するURL、添付ファイル、キーワードなど、悪意ある可能性のある通信を検知できる機能を備える必要がある
長年にわたり、サイバー犯罪者は戦術を絶えず進化させてきた。そして、人間のような文章を生成できる高度なAIモデルであるOpenAIのChatGPTの登場は、ビジネスメール詐欺（BEC）攻撃の状況を一変させた。さらに、規制されていないAI技術の台頭により、組織はBEC攻撃に対していっそう脆弱になっている。
BEC攻撃にAIツールが無制限に利用されることで生じる壊滅的な影響を避けるには、早期発見、迅速な対応、連携した緩和策が必要となる。取り組みの中心には、高度なセキュリティ対策の構築、サイバーセキュリティ分野とAI分野の連携促進、そしてデジタル領域におけるAIの責任ある倫理的な活用を管理・保証する強固な法的・規制上の枠組みの整備を据えるべきだ。