組織はAIモデルを急速に導入しているが、そうしたモデルがどこから来たのか、またその過程でどのように変更されたのかを把握できていないケースは依然として多い。
Ciscoは、オープンソースのModel Provenance Kitをリリースすることで、その隔たりを埋めようとしている。これはAIモデルの出所を検証し、AIサプライチェーン全体の信頼性を高めるためのツールだ。
「私たちは、システムが機能の向上に注力していた初期のインターネットと同等の段階にあります」と、CiscoのAI脅威インテリジェンスおよびセキュリティリサーチ責任者であるAmy Chang氏は、eSecurityPlanetへのメールで述べた。
同氏は、「モデルプロベナンスは、AIモデルの系譜とトレーニングを明らかにする欠けていたレイヤーとして浮上しています。これにより組織は、モデルの出所や信頼性を判断できるようになります」と説明した。
Amy氏はさらに、「AIが規制対象で影響の大きい領域へと進展し続ける中、プロベナンスはガバナンス、説明責任、そして強制力のある信頼の基盤となるでしょう」と付け加えた。
CiscoのAIモデルプロベナンスへのアプローチ
企業がサードパーティ製およびオープンソースのAIモデルの導入を加速させる中、リスク管理においてモデルの系譜を把握することが、基盤となる要件になりつつある。
最新のAIシステムがゼロから構築されることはほとんどない。継続的にファインチューニング、圧縮、統合、その他の変更が加えられ、派生モデルの層が形成されている。
変換のたびに、機能だけでなく、脆弱性、隠れた依存関係、ライセンス上の義務まで引き継ぐ可能性が生じる。
こうした関係を追跡する信頼できる手段がなければ、組織はコンプライアンス、インシデント対応、サプライチェーン全体のセキュリティに関して、ますます大きな課題に直面する。
CiscoのModel Provenance Kitの仕組み
CiscoのModel Provenance Kitは、モデルの出所と相互の関係を検証する手段を組織に提供することで、この隔たりに対処するよう設計されている。
このツールは、モデルの動作を定義する基盤パラメータである重みレベルでモデルのフィンガープリントを作成する。これによりセキュリティチームは、あるモデルが別のモデルから派生したものかどうかを高い確度で判断できる。
これを補完する形で、CiscoはModel Provenance Constitutionも導入した。これは、正当な派生関係とは何か、そして同じくらい重要な点として、何が正当な派生関係ではないのかを定義する正式なフレームワークだ。
重みレベルでプロベナンスを定義
Ciscoのアプローチの中核にあるのは、重みレベルの派生に基づく、厳密かつ限定的なプロベナンスの定義だ。
このモデルでは、学習済みパラメータを結ぶ直接的または間接的な因果の連鎖がある場合にのみ、2つのAIシステムは関連していると見なされる。
これには、ベースモデルからのファインチューニング、教師モデルからの知識蒸留、量子化、プルーニング、モデル統合といった機械的な変換など、一般的な開発経路が含まれる。
検証可能な重みの関係にプロベナンスの基礎を置くことで、このフレームワークは組織をまたいで適用できる、一貫性のある技術的に裏付けられた基準を提供する。
フレームワークが対象外とするもの
同じくらい重要なのが、フレームワークが意図的に対象外としているものだ。
共通のアーキテクチャ、重複するトレーニングデータセット、同程度のベンチマーク性能など、表面的な類似性は派生の証拠とは見なされない。
この区別は実務上きわめて重要だ。これがなければ組織は、無関係なモデルを依存関係にあると誤って分類し、脆弱性追跡における誤検知、不必要なライセンス上の懸念、ガバナンスプロセスにおけるノイズの増大を招く可能性がある。
真の派生と偶然の類似性の間に明確な境界を引くことで、このフレームワークは曖昧さを減らし、意思決定の精度を高める。
Model Provenance Constitution
Model Provenance Constitutionは、直接的な派生、間接的な派生、機械的変換、複数段階にまたがる推移的な関係など、モデルが関連していると見なされる条件を明確に示すことで、このアプローチをさらに強化する。
また、たまたま似ているだけの独立開発モデルなど、一般的な誤認シグナルも整理しており、チームが誤分類を避けるのに役立つ。
この体系的な分類法により、あらゆるモデル比較を一貫した基準に照らして評価できる。
AIセキュリティでプロベナンスが重要な理由
このレベルの厳密さが必要とされる背景には、変化する脅威の状況がある。
モデルプロベナンスの不備は、特にサプライチェーン攻撃に関連して、AI環境における高まりつつあるリスクとしてすでに認識されている。
攻撃者は、文書化が不十分なモデル依存関係を悪用し、広く再利用されるコンポーネントに悪意のあるコード、バックドア、脆弱性を仕込む可能性がある。
業界のフレームワークであるOWASPのLLM向けTop 10アプリケーションやMITRE ATLASは、サプライチェーンの侵害を主要な攻撃経路として取り上げており、追跡可能性と検証の重要性を裏付けている。
検証可能な証拠による信頼の構築
実環境での利用を支えるため、Ciscoのアプローチは仮定ではなく検証可能な証拠を重視している。
プロベナンスは、公式文書、モデルチェックポイントの技術的検証、権威ある第三者による分析を通じて確立できる。
改変可能なメタデータや命名ではなく重みレベルの検証に依拠することで、このフレームワークはモデルの出所を隠そうとする試みの防止に役立つ。
これらの機能を組み合わせることで、組織はモデルの依存関係をより明確に把握でき、AIサプライチェーンのリスクを管理するためのより強固な基盤を得られる。
AIモデルのリスクを低減する方法
組織がAIを重要な業務プロセスに組み込む中、モデルリスクの管理はセキュリティ上の中核的な優先事項になりつつある。
AIシステムは、データ、依存関係、動的な挙動にまたがる新たな課題をもたらすため、リスク低減にはより包括的なアプローチが必要となる。
こうしたリスクへの対処には、開発から導入、運用に至るAIライフサイクル全体にわたるセーフガードが必要だ。
- モデルプロベナンスとサプライチェーン管理策を導入するには、系譜を検証し、第三者モデルを確認するとともに、モデルを管理対象の依存関係として扱う。
- 強固なガバナンスポリシーを確立することで、モデルの出所、変換、リスク分類を、NIST AI RMFのようなフレームワークに沿って文書化することを求める。
- AIライフサイクル全体でデータを保護するため、トレーニングおよび推論パイプラインを保護し、データ漏えいを防止するとともに、データセットをポイズニングのリスクに照らして検証する。
- 最小権限でアイデンティティとアクセスを制御し、ゼロトラストの原則を、モデルとやり取りするすべてのユーザー、API、システムに適用する。
- モデルの挙動を継続的に監視・記録することで、異常、ドリフト、改ざんの兆候を検知し、効果的なフォレンジック分析を可能にする。
- モデルおよびアプリケーション層の保護策を適用する。敵対的テスト、ガードレール、出力フィルタリング、環境分離などを用いて、悪用や攻撃のリスクを低減する。
- AI固有のインシデント対応計画を策定し、定期的にテストすることで、モデルの侵害、データ漏えい、悪意のある出力に備える。
これらの対策を総合的に講じることで、組織はレジリエンスを高め、AIモデルのリスクへの露出を低減できる。
AIサプライチェーンリスクの台頭
CiscoのModel Provenance Kitは、組織によるAIリスク管理のアプローチが変化し続けていることを示している。
AIシステムがよりモジュール化され、相互接続されるにつれ、従来のソフトウェアサプライチェーンの概念は、モデル、データセット、トレーニングパイプラインを含むように拡大している。
この環境では、セキュリティの維持、コンプライアンスへの対応、運用上の信頼性の構築に向けて、明確なプロベナンスを確立することがますます重要になっている。
モデルがどのように開発され、関連付けられているのかをより正確に把握できなければ、組織は依存関係の特定、リスク評価、継承される可能性のある脆弱性の管理で課題に直面する可能性がある。
こうした課題は、ゼロトラストによってAI環境全体のシステム、データ、依存関係を継続的に検証できる仕組みの必要性を強調している。