人工知能（AI）は企業のセキュリティを変革しているが、攻撃者に新たな機会も生み出している。
プロンプトインジェクションやデータポイズニング、モデルの悪用からAIを利用したフィッシングまで、組織は従来のセキュリティ対策では対処できるよう設計されていなかった、拡大し続ける攻撃対象領域に直面している。
セキュリティ専門家がこうしたリスクをより深く理解できるよう、TryHackMeでAI Security Squadを率いるシニアコンテンツエンジニアのMax RobertsonがTryHackMeの代表としてeSecurity Planet Podcastに参加し、TryHackMeのインタラクティブなトレーニングプラットフォームを使って、直接的および間接的なプロンプトインジェクション攻撃を実演した。
動画では、Maxがこうした攻撃が実際にどのように機能するのか、またAIセキュリティに従来のアプリケーションセキュリティとは異なる考え方が必要な理由を解説している。
プロンプトインジェクションは依然として最大級のAIセキュリティリスクの1つ
プロンプトインジェクションは、大規模言語モデル（LLM）に対する脅威として最も盛んに議論されているものの1つとなっている。それには十分な理由がある。
Robertsonが説明するように、この攻撃はSQLインジェクションと重要な共通点がある。どちらの場合も、攻撃者は信頼できる命令と信頼できない入力を混在させ、開発者が意図していない動作をアプリケーションに実行させようとする。
デモでRobertsonは、AIを搭載した自動車販売アシスタントのシミュレーションに対する、直接的なプロンプトインジェクション攻撃を示す。
チャットボットの既存の指示を上書きするプロンプトを巧妙に作成することで、攻撃者がAIを操作し、架空の1ドルの車両購入を受け入れさせられることを実演している。
トレーニング目的で意図的に単純化されているものの、この演習は、安全対策が不十分なAIアシスタントが本来の制約を無視するよう仕向けられることを示している。
間接的なプロンプトインジェクションは、さらに大きな懸念をもたらす
2つ目のデモでは、間接的なプロンプトインジェクションを、さらに重大な企業リスクと見なすセキュリティ専門家がいる理由を明らかにする。
Robertsonはチャットボットを直接攻撃するのではなく、外部のデータソース、この場合はAIアシスタントにアクセス権限が与えられている予定表の予定に、悪意のある命令を仕込む。
後に別のユーザーがアシスタントに今後の会議の要約を求めると、悪意のある命令が信頼できるコンテキストとして知らないうちに取り込まれ、AIは機密性の高い営業情報を開示してしまう。
直接的なプロンプトインジェクションとは異なり、攻撃者はエクスプロイトが実行される時点でそこにいる必要がない。
AIアシスタントを利用する従業員なら誰でも知らないうちに攻撃を引き起こす可能性があるため、企業のデータソースに接続されたAIエージェントにとって、間接的なプロンプトインジェクションは特に危険だ。
AI攻撃はプロンプトインジェクションをはるかに超えて広がっている
プロンプトインジェクションは多くのAIセキュリティ議論を席巻しているが、新たに登場している脅威の1カテゴリにすぎない。
組織は次のようなリスクにも直面している。
- データポイズニング：攻撃者が学習データや検索データを改ざんし、モデルの出力に影響を与える。
- モデル反転とモデル抽出：機密性の高い学習データの復元や、独自AIモデルの複製を試みる。
- ジェイルブレイク：巧妙に作成したプロンプトによってモデルの安全対策を回避する。
- AIを利用したフィッシングとソーシャルエンジニアリング：生成AIを使い、ますます説得力のある、個人に合わせた攻撃を作り出す。
- 悪意のあるAIエージェント：企業アプリケーション、API、クラウドサービスと自律的にやり取りできる。
企業がAIシステムを機密性の高い業務データや運用ワークフローに接続するようになるにつれ、こうした統合の弱点は、不正確なチャットボットの応答をはるかに超える影響を及ぼしかねない。
AIセキュリティはテクノロジーを理解することから始まる
Robertsonは、AIを恐れるべきものではなく、理解すべきものとして捉えるべきだと強調する。
組織が過去にクラウドコンピューティングなどの大きな技術変革に適応してきたのと同様に、今や防御側はAIシステム、その能力、セキュリティへの影響について実践的な知識を身につける必要がある。
TryHackMeのハンズオンラボは、実稼働環境で遭遇する前に、現実的なAI攻撃のシナリオを安全に体験できるよう設計されている。
実践的なAIセキュリティスキルの習得に関心のある読者は、クーポンコードTryHackMeをTECHADVICE30に適用すると、30%割引で利用できる。
AIの導入が加速する中、組織は進化するAIの脅威から身を守るため、強固なガバナンス、安全な開発、継続的なトレーニングを必要としている。
プロンプトインジェクションは、セキュリティチームが備えるべき数多くのリスクの1つにすぎない。
ゼロトラストの原則をAIシステムに拡張することで、侵害されたプロンプト、ID、データソースの影響を抑えられる。