MITRE初の評価でMSSPは好成績

MITRE Engenuityによる新たなMSSP評価が何らかの指標になるなら、マネージドセキュリティサービスプロバイダーは、レイク・ウォベゴンの子どもたちに少し似ている。つまり、全員が平均以上なのだ。

MITRE初のセキュリティサービス試験に参加した15社のMSSPのうち、評価の10段階すべてで攻撃手法を報告できなかったのはわずか3社で、そのうち2社はウェブシェルの障害によりテストを正常に実行できなかったことが理由だった。

今後さらに多くのサービスプロバイダーが参加すれば、情報に乏しいセキュリティ購入者にとって有益だろう。

サンプルは少ない。推計によってはMSSPはおよそ1万社あるとされるが、それでも、自社ネットワークの防御を担うベンダーが、実証可能なサイバーセキュリティの専門知識を有していることは、MSSPの顧客に安心感を与えるはずだ。セキュリティの有効性を測る指標は少なく、MITREに勝るものもないため、

「組織の半数以上が、データとネットワークを保護するためにセキュリティサービスプロバイダーを利用している」とRadhakrishnan氏は述べた。「そこで、サービスプロバイダーが顧客のために、脅威に基づく防御の実践をどのように活用しているかを調査したいと考えました。私たちは評価でベンダーを順位付けしません。しかし各組織は、Evalsを利用して、自社のサイバーセキュリティ上のギャップに最も適切に対処し、固有のビジネスニーズに合うサービスプロバイダーを判断できます」

以下を参照：ベスト・マネージド・ディテクション・アンド・レスポンス（MDR）サービス、および主要MSSP。

MSSPテストが評価するのは検知ではなく報告

MITREで最もよく知られているのはエンドポイントセキュリティ製品の評価だが、同組織による製品評価とサービス評価には、いくつか重要な違いがある。

MSSP評価では、イランの脅威グループOilRigによる攻撃を模した手法の下で、ベンダーがどのようなパフォーマンスを示すかを調べた。このグループが選ばれたのは、「回避と永続化の手法、複雑さ、そして業界との関連性」を理由にしたものだとMITREは述べた。

評価では、MSSPが74の手法と10段階にわたってATT&CKの手法を報告する能力を調べた。初期侵害からラテラルムーブメント、情報流出、痕跡消去までが対象となった。

新たなテストで重要視されているのは、MITREのエンドポイントテストで測定される検知ではなく、「報告」という言葉だ。MITREのパープルチームは、ATT&CKの手法が報告されたかどうかを評価したのであり、サービスプロバイダーによって検知されたかどうかを評価したのではないと、MITREは説明している。

「多くの場合、サービスプロバイダーはテスト対象のATT&CKの手法を検知していた可能性があります。しかし、それが不要な情報だと考えた、あるいはMITRE Engenuityに提供した別の情報から推測または推定できると考えたため、MITRE Engenuityへの報告を選択しなかったのかもしれません」とMITREはMSSP評価の概要ページで説明している。「ATT&CKの手法が『報告済み』と見なされるには、MITRE Engenuityに提供される活動情報に、その活動を説明する十分なコンテキストが含まれていなければなりません。サービスプロバイダーによる追加分析のない生のテレメトリーのような情報は、『報告済み』とは見なされません」

つまり、テストで提供されるデータは、製品評価の場合ほど明確ではない。そこで、以下ではMSSPが報告した手法の数と割合を記録するが、いつものように、自組織のニーズに関係する情報を見つけるため、データを詳しく調べることが重要だ。

結果の解釈についてのブログで、Radhakrishnan氏は、次のようないくつかの重要な留意点を挙げている。

• すべての手法が同じではない：「Process Discoveryを報告するサービスプロバイダーは、アクションの重大性が異なるため、Credential Dumpingを報告するサービスプロバイダーと同じ価値を持つとは限りません」
• すべての手順が同じではない：「コマンドラインインターフェース（T1059）を介したProcess Discovery（T1057）は、ほとんどのプロセス監視で検知できます。API（T1106）を介したProcess Discoveryには、API監視が必要です。サービスプロバイダーは一方を報告できても、もう一方は報告できない可能性があります」

結果

こうした重要な留意点を踏まえ、評価から得られた基本的なデータを以下に示す。

10段階のうち、いずれか1段階で調査結果をまったく報告できなかったMSSPは、BlackBerryだけだった。攻撃者が永続化のためにExchange Web Server（EWS）へウェブシェルをダウンロードしてインストールする5つの手法が、その段階に含まれていた。ただしBlackBerryは、残り9段階では多数の項目を検出した。

Palo Alto NetworksとNVISOは、74の手法のうち一部に参加できなかった。ウェブシェルの障害により、これらの手法を実行できなかったためだ。

また16番目のベンダーであるTrend Microは、誤って「機密情報」を発見した後、結果が公開されなかった。

「Trend Microはこの初回ラウンドに参加し、テストを完了しましたが、意図しない事態の後、同社のチームがMITRE Engenuityにとって機密情報に当たるものを発見したことを、速やかかつ責任を持って共有しました」とRadhakrishnan氏はeSecurity Planetに語った。「MITRE EngenuityとTrend Microの合意に基づき、MITRE EngenuityはTrend Microの結果を公開しませんでした」

以上の留意点を踏まえ、MSSPが報告した74の攻撃手法について、実数と割合を以下に示す。