EUのサイバーセキュリティ機関と科学研究機関は、ダウンロードしてローカルインフラ上で実行できる中国製オープンウェイトAIモデルをテストしている。
欧州連合サイバーセキュリティ機関（ENISA）と欧州委員会の共同研究センター（JRC）は、Politicoに対し評価を実施していることを認めた。JRCの研究には米国製および欧州製のモデルも含まれており、独自の安全なコンピューティング基盤上でシステムを実行しているとThe Next Webは報じている。
同様の導入を検討する組織にとって、セキュリティ上の問題は、どのモデルの性能が最も優れているかだけでなく、モデルがどのデータやシステムにアクセスできるかにも及ぶ。
EUがテストしているもの、そして依然として不明な点
欧州委員会の報道官Maciej Berestecki氏はPoliticoに対し、JRCはこれらのモデルを独自の安全なコンピューティング基盤上で実行しており、欧州委員会は日常業務で使用する予定はないと述べた。ただし、評価対象となっている具体的なモデルも、テスト結果も明らかにされていない。
別の欧州委員会関係者はPoliticoに対し、安全性とセキュリティはJRCの研究の主眼ではないと語った。現時点で確認できる報道からは、その調査結果が調達や導入の判断に活用されるかどうかは分からない。
オープンウェイトAIではセキュリティ制御の責任が導入側に移る
プロバイダーがインフラを管理し、サービスレベルで安全対策を適用できるホスト型AIサービスとは異なり、オープンウェイトモデルはダウンロードして改変し、組織独自のシステム上で実行できる。つまり、元の開発者は、各コピーの設定やユーザーが取り除く制限、モデルが接続するシステムを中央で管理できない。
自社のインフラ上でモデルを実行する組織は、その導入環境の保護に責任を負う。モデルが実行される環境を保護し、機密データや外部ツールへのアクセスを制限するとともに、実際の運用条件下でも安全対策が機能するかをテストしなければならない。
今回の評価によって、モデルの能力や限界への理解が深まる可能性はある。ただし、政府や企業での利用を承認するプロセスだとする報道はない。
それでも、実際の運用でモデルの安全性がどの程度維持されるかは、組織がモデルをどのように設定、改変し、業務に組み込むかにも左右される。モデルや権限、接続されたツールを変更すれば、導入後のシステムのリスクプロファイルが変わる可能性がある。
導入前にセキュリティチームが確認すべきこと
オープンウェイトAIを検討する組織にとって、ローカル環境への導入はモデルを実行する場所を管理できるという利点がある。しかし、その管理権限があるからといって、構築されたシステムの安全性が自動的に保証されるわけではない。チームはモデルや関連ソフトウェア、業務リソースへのアクセスを評価する必要がある。
まず、想定するワークロードから検討を始める。システムが処理する情報、機密記録へのアクセスが必要かどうか、外部ツールの呼び出しやコマンドの実行が可能かどうかを確認する。文書を要約するシステムには、ファイルの変更や本番システムとのやり取りを許可されたエージェントとは異なる評価が必要になる。
実環境へのアクセスを許可する前に、隔離環境でその権限をテストする。代表的で機密性のないデータを使い、文書やツールの応答に含まれる悪意ある指示によってシステムが誘導され、情報を漏えいしたり、 許可されていないコード実行を誘発したりしないかを確認する。ワークロードに必要な範囲にアクセスを制限し、重大な操作には人間の承認を必須とする。
変更は、導入環境を再評価するきっかけとして扱う。ファインチューニングやモデルの置き換え、コネクターの追加、権限の拡大によって、システムの挙動が変わる可能性がある。チームはテスト済みの構成を文書化し、動作を監視するとともに、問題が発生した場合にアクセスを無効化できる手段を維持すべきだ。
EUによる評価は関連する文脈を提供するが、評価の存在が報じられたからといって、特定のモデルが業務での導入に適していることが示されたわけではない。手法と結果が公開されるまで、今回のテストがどのようなセキュリティ上の結論を裏付けるのかを組織が判断することはできない。実務上の要点は、機密データや業務ツールに接続する前に、想定する運用条件下でシステム全体を評価することだ。
詳しく読む： Azure DevOpsのプロンプトインジェクションがAIコーディングエージェントを操作して開発者の既存の権限を通じて機密データにアクセスさせる方法。