MITRE ATT&CK評価2023：Palo Alto、Microsoft、CrowdStrike、Cybereasonが先頭を走る

MITRE Engenuityは、主要なサイバーセキュリティベンダーが高度なサイバー脅威をどのように検知・防御するかを調べた、2023年版ATT&CK評価を発表した。今年の評価では、ロシアを拠点とする脅威グループTurlaの手法に焦点を当てた。

TurlaはC2ネットワークに加え、オープンソースツールも利用する。誰でもコードを編集・悪用できるため、こうしたネットワークやツールは防御が難しく、悪用されやすい。

今年のMITREの分析では、SNAKEとCARBONと呼ばれる2つのシナリオを検知するベンダーの能力をテストした。MITREはKeyloggerやMimikatzなど複数の攻撃的セキュリティツールを使い、ベンダーの環境に攻撃を仕掛けた。さらに、防御能力についても、13のテスト（一部は多数のステップで構成）を実施し、攻撃のどの段階で停止できるかを調べた。

MITREの検知・防御評価には通常、エンドポイントセキュリティベンダーが参加してきた。検知評価はエンドポイント検知・対応（EDR）製品に最も適しており、防御テストではエンドポイント保護プラットフォーム（EPP）の能力に焦点を当てる。WindowsとLinux向けにEDRとEPPの両方を提供するベンダーは、提供範囲が限られるベンダーよりも多くの評価ステップに参加できる。時がたつにつれ、主な強みが別の分野にあるセキュリティベンダーも、この評価の高いプログラムに参加するようになっている。

セキュリティ製品を購入する前に、これらのベンダーについて、MITREスコアの経時的な推移も含めて調査することを推奨する。今回の分析は、MITRE評価を有用な観点から見る1つの方法を示すものだ。ただし、昨年の結果に関する分析でも述べたように、自社に適した製品かどうかを判断するには、組織独自のインフラでセキュリティ製品をテストする必要がある。MITREテストの詳細を確認することは、製品が自社環境でどのように機能しそうかを知るうえでも、大いに役立つ。

今年のMITRE結果を分析する方法

MITREの結果は、検知（SNAKEとCARBONのシナリオ）と防御（攻撃を阻止する製品の能力に関する13テスト）の2カテゴリーに分けられた。

検知評価は合計143ステップで構成された。Linuxのテストを実施しなかったベンダーの場合、この数は132に減る。検知スコアは、正常に検知できたステップの合計数を143（または132）で割って算出した。

検知テストには、分析スコア、テレメトリースコア、可視性スコアが含まれる。分析カバレッジは脅威を検知するだけでなく、MITRE標準の識別情報でタグ付けする。テレメトリーカバレッジは、必ずしもコンテキストを含まない、脅威イベントに関する生データの収集を指す。可視性カバレッジは、MITREがテストした検知の総数のうち、ベンダーが正常に検知した数である。MITREテストの分析では、可視性スコアのみを扱う。

MITREによると、CiscoとCheck Pointの検知・防御スコアは、技術的な問題のため記録されなかった。

防御コンポーネントは13テストで構成され、13の攻撃シーケンスすべてを阻止できるベンダーと、その速度を評価する。13テストの大半は複数の攻撃ステップで構成されていた。防御テストは任意参加であり、Rapid7やWithSecureなど、すべてのベンダーが参加したわけではない。

防御面では、複数のベンダーが特に苦戦したテストがいくつかあった。Fortinet、Bitdefender、Sophosなど、多くのベンダーがテスト3を見逃した。Malwarebytesも完了できなかった。

テスト7にも多くのベンダーが苦戦した。Fortinetは最終的に7を完了したものの、多くのステップを要した。Bitdefenderも同様だった。VMware Carbon Blackはテスト7を完了できず、Tehtrisはすべてのステップを見逃した。テスト13で問題に遭遇したベンダーもいくつかあった。今年の評価では、いくつかの共通点が明らかになった。なかでも、特に難しいと思われる防御テストがいくつか存在した。

Palo Alto Networksは満点を獲得し、143件の検知テストをすべて検知するとともに、13件の防御評価をすべて最初のステップで阻止した。ほかの3ベンダー、Microsoft、CrowdStrike、Cybereasonも143件の検知テストをすべて正常に検知し、13件の防御攻撃を阻止したが、脅威を阻止する前に少数の防御ステップを見逃した。

ほかにも好成績を収めたベンダーは多かったが、多くのベンダーの結果には改善の余地があり、特に防御面でそれが顕著だった。著名なセキュリティベンダーの多くが、複数の防御テストを阻止できなかった。製品チームは通常、製品を改善するためにテストを利用するため、参加することは常に全体としてプラスになる。

ベンダーは評価について、いくつかの注意点を指摘している。具体的には、検知感度を十分に高く設定すれば、実環境では誤アラートとなる検知を生じさせ、ベンダーが検知テストをいわば攻略できる可能性があることだ。また、参加するために主要なセキュリティ機能を無効化しなければならなかったと述べるベンダーもある。こうした注意点があるため、2つのテストのうち防御テストのほうが重要となる。防御テストは2年前に導入された際、多くの関係者から歓迎された。

検知・防御結果は一長一短

昨年の勝者の多くは、今年もPalo Alto、Microsoft、CrowdStrike、Cybereasonを含め、検知で高いスコアを獲得した。検知評価で可視性スコア満点を得たベンダーは5社あり、Sophosは2022年の中程度の結果から注目すべき復調を果たしたベンダーの1つだった。これは、ベンダーが結果を製品改善に活用することが多い点を改めて示している。

次の表は、検知テストにおける各ベンダーの全体的な可視性スコアを、検知に成功したテスト数の多い順に示したものだ。

今年の防御テスト結果は、成績に大きな幅があることを示した。直面したテストをすべて阻止したベンダーは7社のみで、昨年と同数だった。一方、多くのベンダーが複数の防御テストを完全に見逃した。テストは合計13件で、多くは複数のステップを含んでいた。この表では、次の3つを比較する。

• ベンダーが阻止できたテストの数（13件中）
• ベンダーが最初のステップで阻止したテストの数（13件中）
• 13テスト全体でベンダーが見逃したステップの総数（例えば、あるテストを5番目のステップで阻止した場合、そのテストだけで4ステップを見逃したことになる）

これらの指標は、単一の総合パーセンテージではなく、防御テストの異なる側面を示している。

Palo Altoはすべてのテストを阻止し、今回も総合的に最も優れたサイバーセキュリティベンダーとしての信頼に応えた。SymantecとCybereasonも、ここでは特に優れた成績を収めた。MalwarebytesとTehtrisは防御面で最も低い成績となり、13テスト中7テストしか阻止できなかった。Fortinetは12テストを阻止したものの、テスト中に相当する43の攻撃ステップを見逃した。侵入者が環境の奥深くまで入り込むほど、被害は大きくなる。

結論：MITREスコアは有用だが、すべてではない

MITRE評価はセキュリティベンダーにとって決して簡単ではない。その難しさは、購入者が十分な可視性を得られない市場において、評価を特に価値あるものにしている。Rapid7のように検知テストだけを受けるベンダーであっても、EDRのように自社の知名度が最も高いとはいえない分野で卓越性を追求している点は称賛に値する。

さらに詳しく知りたい場合や、これらのベンダーのいずれかから製品を購入しようと考えている場合は、MITREの結果を自分で調べることを推奨する。今回の解釈は、データを見る方法の1つにすぎない。

脅威は時間とともにますます高度化し、セキュリティプロバイダーは脅威アクターの創意工夫に追いつくという難題に直面している。そのためMITRE評価は、セキュリティ製品の購入者とベンダーの双方が学ぶために利用できる、最も優れたツールの1つとなっている。

次に読む：

• サイバーセキュリティ企業トップ
• エンドポイント検知・対応（EDR）ソリューションのトップ製品
• エンタープライズSIEM、MITRE ATT&CK手法の76％を見逃す