生成AI（人工知能）の急速な進歩により、ディープフェイクやなりすまし詐欺、ソーシャルメディアプラットフォーム上で改変されたコンテンツに関する課題が深刻化している。
合成メディアの作成が容易になり、検出が難しくなる中、企業はより高度な信頼・安全対策の導入を迫られている。
eSecurityPlanetへのメール取材で、Wizz AppのCOOであるAlexandra Ryabova氏は、本人確認、AIモデレーション、TAKE IT DOWN Actのような規制が、ソーシャルメディア上のユーザーの安全性をどのように高めているかを語った。
重要ポイント
- ディープフェイクやAI生成詐欺は検出がますます難しくなっており、悪意ある攻撃者は偽の身元情報や音声クローン、改変コンテンツを大規模に作成できるようになっている。
- 本人確認は重要な防御策として浮上しており、一部のソーシャルメディアプラットフォームでは、偽アカウントを減らすために年齢確認や顔照合技術を利用している。
- AIモデレーションは有害なコンテンツを大規模に特定するのに役立つが、文脈上の誤りや誤検知に対処するには、依然として人による監視が不可欠だ。
- TAKE IT DOWN Actは、AI生成による同意のない親密な画像について、報告を受けてから48時間以内に削除するようプラットフォームに義務付け、ソーシャルメディア企業の説明責任を高めている。
拡大するディープフェイクと合成コンテンツの脅威
ディープフェイクやAI生成コンテンツは、ソーシャルメディアプラットフォームにとって、最も急速に拡大している信頼・安全上の懸念の一つとなっている。
Ryabova氏によると、この課題の背景には、合成コンテンツが作成・拡散される速度と、それを検証して削除するのに必要な時間との大きな差がある。
説得力のあるディープフェイクは数秒で作成できる一方、その虚偽を暴くには数日から数週間かかることがある。
の台頭により、オープンソースのAIツール悪意ある攻撃者が参入するハードルは下がり、偽の身元情報や改変画像、音声クローン、詐欺的なコンテンツを大規模に作成できるようになった。
こうした脅威は誤情報にとどまらず、現在では金銭詐欺、性的脅迫、同意のない親密な画像、政治的な情報操作も含んでいる。
防御策としての本人確認
単にディープフェイクの検出だけに頼るのではなく、一部のソーシャルメディアプラットフォームは、ユーザーが実在する個人であることを確認するための本人確認措置を導入している。
Ryabova氏によると、Wizzは偽アカウントや合成された身元情報を減らす取り組みの一環として、年齢確認と顔照合技術を利用している。
また、本人確認要件を満たさなかったために、毎年4万件を超えるアカウントが永久に利用停止となっているという。
さらに、年齢確認の試行の約7％が、真正性への懸念を理由に拒否されている。
本人確認済みの個人にアクセスを限定することで、プラットフォームは自動化されたアカウントや合成された身元情報が有害なコンテンツを拡散する機会を減らしている。
コンテンツモデレーションにおけるAI対AI
生成AIが高度化するにつれ、ソーシャルメディアプラットフォームは有害なコンテンツを特定するため、AIを活用したモデレーションシステムへの依存を強めている。
Wizzは現在、自動画像・動画モデレーション、行動監視、人によるレビューなど、複数層の保護機能を利用している。
同社はまた、改変されたプロフィール画像を特定することに特化した、社内向けのディープフェイク検出システムを開発している。
Ryabova氏はこの取り組みを、出現する脅威とともに防御技術も進化しなければならない、継続的な「AI対AI」の戦いだと説明した。
AIモデレーションによって拡張性は高まるものの、文脈を誤って解釈し、コンテンツを誤って違反と判定する可能性は残る。
Ryabova氏は、ヘアカラーについて話していたユーザーが、自傷行為に関する懸念があるとして誤って違反判定を受けた例を挙げた。
こうした事例は、モデレーションの判断における人による監視の重要性を改めて示している。
TAKE IT DOWN Actの影響
このウェブサイトやネットワーク上の技術的ディープフェイクを無力化して既知の搾取に対処するためのツール（TAKE IT DOWN）法は、ソーシャルメディア企業に新たな責任を課している。
最も注目すべき要件の一つは、AI生成ディープフェイクを含む、同意のない親密な画像について、有効な申し立てを受けてから48時間以内に削除する義務である。
Ryabova氏によると、この法律はプラットフォームに対し、過去に削除したコンテンツが再アップロードされるのを防ぐシステムの導入も義務付けている。
この積極的なアプローチにより、責任は被害者からプラットフォームへと移り、コンテンツモデレーションに求められる基準も引き上げられる。
限られたリソースしか持たない小規模組織にとって48時間という期限は難しい可能性があるものの、Ryabova氏は、当初から安全性を優先する企業ほど、要件を順守しやすい立場にあると考えている。
AIモデレーション、信頼できる安全対策パートナー、業界内の協力への投資は、組織が規制上の期待に応える助けとなる。
今後の展望
AI生成の脅威に対する社会の認識が高まる中、ユーザーはより強固なプライバシー保護、本人確認、プラットフォームの説明責任を求めている。
Ryabova氏は、この傾向は前向きなものであり、オンラインの安全性に対する期待が高まっていることの表れだと考えている。
TAKE IT DOWN Actは、将来のAI規制のモデルとなる可能性がある。迅速な対応、積極的な検出、そしてプラットフォームのより大きな説明責任を重視しているためだ。