最新のMITREエンドポイントセキュリティ評価、上位にはおなじみの顔ぶれ

MITRE EngenuityがATT&CKエンドポイントセキュリティ評価の最新ラウンドを発表した。結果を見ると、最も多くの検知を達成して上位に並んだのは、いずれもおなじみの企業だ。

MITREの評価は、高度な持続的脅威（APT）や国家によるハッキング技術を模倣している点で独自性があり、静的なマルウェアサンプルを調べるようなテストとは異なる。

昨年、MITREは検知テストに加えて保護評価を導入した。検知テストが対象とするのはエンドポイント検知・対応（EDR）ツールであるのに対し、保護テストではエンドポイント保護プラットフォーム（EPP）が重視される。EPPは従来型のウイルス対策ソフトウェアにやや似ているが、企業ITセキュリティに求められる、より高度な機能を備えている。EDRツールとEPPツールはここ数年で統合が進んでいるものの、異なる機能を維持している。

MITREのテストは、購入者とベンダーの双方に提供するセキュリティ情報の深さという点で独自性がある一方、MITRE自身やセキュリティベンダーが指摘しているように、いくつかの注意点もある。

• MITREは結果を採点しないし、誰が「勝った」のかを示そうともしない。代わりに、生のデータだけを提供する。そのデータをどう使うかは、セキュリティ製品の購入者とベンダーに委ねられている。
• ベンダーは使用したツールと構成に関する情報を提供するため、購入者はその情報を使って、構成が自社環境に適しているか確認できる。
• テストでは誤検知を確認しないため、ベンダーがすべてを検知できるようツールを調整することを妨げる要因はない。
• また、特定の攻撃手法を可能にするため、自動化機能がオフにされることも多い。そのため、結果がセキュリティツールの全機能を常に反映するとは限らない。

つまり、MITREのテストは購入者に通常なら得られないような多くのデータを提供する一方で、購入者には自ら調査とテストを行うことが推奨される。ベンダーも同様に、結果をセキュリティ防御の改善に活用する。

ただし、ベンダーが結果を自社に有利なように解釈するのと同じく、私たちもデータを分析して一定の形に整理してみる。もっとも、購入するセキュリティツールが自社環境に適したものか、必ず確認する必要がある。自社環境で自ら評価することに代わるものはない。

関連記事：主要なエンドポイント検知・対応（EDR）ソリューション

結果を分析

この記事の初稿では、Cynetが結果の分析に用いた手法（これについては後述）に依拠していた。しかし、読者からそのアプローチに異論が寄せられたため、今回は、シンプルで分かりやすい手法に戻すことにした。これは昨年用いたもので、保護テストと検知テストの結果を数値化し、その2つを平均する方法だ。

MITREの評価に参加した30社のうち、22社は検知評価と保護評価の両方を受けた。そのため、両方に参加したグループと、検知のみのグループを分けて扱う。また、データは一般公開されているため、誰でもアクセスして分析できる。ぜひ試してみてほしい。

保護評価には大まかに9つのテスト、検知評価には109のステップがあった。ただし、Linuxテストに参加しなかったベンダーでは、それぞれ8つと90に減っている。

9つの保護テストには、109の攻撃手法も含まれていた。Cynetは、これらのテストを採点した。攻撃経路のどの段階で脅威を阻止したかを基準にしたものだ。これはデータを見るうえで重要な方法だが、最終的に脅威を阻止したベンダーを、脅威を完全に見逃したベンダーより低く評価するケースが生じた点が問題だった。大まかな例を挙げると、1つの脅威を最初のステップで阻止したものの、別の脅威を完全に見逃したベンダーのほうが、両方の攻撃を例えば5番目のステップで阻止したベンダーより高い点数になる可能性がある。

eSecurity Planetへの声明で、CynetのCTOであるAviad Hasnis氏は同社のアプローチを擁護した。「攻撃者を早く阻止するほど、ベンダーとして追加の悪意ある活動を防ぐ効率が高まります。認証情報を盗むマルウェアを考えてみてください。コンピューターに投下された時点でマルウェアを阻止できれば、実際には何も悪いことは起こりません。一方、もっと後の段階で阻止した場合、認証情報はすでに盗まれているでしょう。これこそがMITREのテストした内容です」

侵入の深さと、より広い阻止・未阻止のスコアの両方を含めるよう結果を調整する方法はあるのかもしれない。しかし、改めて、テストに関心のあるすべての人にMITREのデータ自体を確認するよう勧めたい。

サイバーセキュリティにとって朗報

22社中12社のベンダーが、直面した保護テストをすべて阻止した。サイバーセキュリティ全般にとって、期待の持てる結果だ。

保護テスト9つをすべて、Linuxのテストも含めて阻止したベンダーは7社だった。Cybereason、SentinelOne、Cynet、Palo Alto Networks、CrowdStrike、Microsoft、BlackBerry Cylanceである。

さらに4社は、Linuxテストを見送ったものの、Windowsの攻撃テスト8つをすべて阻止した。McAfee（現在はFireEyeと統合されTrellixとなっている）、Fortinet、VMware Carbon Black、Deep Instinctだ。Trend Microは8つの攻撃を阻止し、9つ目は検知ルールによって実行を防いだ。

以下は、検知評価と保護評価の両方に参加したベンダーの大まかな結果だ。

これらのベンダーの多くは、昨年の結果でも良好な成績を収めており、さまざまな高度な脅威に対する一貫性を示している。Palo Altoは長年にわたる独立テストで非常に安定して高い実績を上げており、当社がしばらく前から同社をサイバーセキュリティ総合トップベンダーに選んできたのもそのためだ。しかし、MITRE評価に参加した他の11社も、当社の総合トップ企業リストに入っている。また、MITRE参加企業の大半を当社のEDR製品トップリストに掲載しており、このリストは近く更新する予定だ。

難度の高いテスト

MITREのテストは、セキュリティベンダーが直面しうる最も難しいテストであり続けている。検知テストでは、Ryukランサムウェアを使うWizard Spider脅威グループと、NotPetyaの背後にいるロシアのSandwormグループを模倣した。保護ステップでは、EmotetとTrickBot、Active Directoryの認証情報ダンプ、Ryuk、WebShellの侵害、ドメインホストの侵害、そしてNotPetyaを調べた。

脅威の深刻さを考えれば、業界全体にとって朗報だ。折しもサイバー戦争も懸念されるようになっている。

右側には、検知評価のみに参加したベンダーを示している。私たちはこれまで、独立テストに参加するベンダーは称賛されるべきだと考えてきた。潜在的な購入者に情報を提供できるだけでなく、セキュリティ製品の改善にもつながるからだ。

MITREは近く、欺瞞ツールとセキュリティサービスの結果も発表する予定だ。これは、同組織にとってエンドポイントセキュリティ以外への初めての取り組みとなる。

次に読む：主要なXDRセキュリティソリューション