MITRE ATT&CK-Evaluierungen 2023: Palo Alto, Microsoft, CrowdStrike & Cybereason an der Spitze

MITRE Engenuity hat seine ATT&CK-Evaluierungen für 2023 veröffentlicht und untersucht, wie führende Cybersicherheitsanbieter ausgefeilte Cyberbedrohungen erkennen und verhindern. In diesem Jahr konzentrierten sich die Evaluierungen auf die Techniken von Turla, einer in Russland ansässigen Bedrohungsgruppe.

Turla nutzt ein Command-and-Control-Netzwerk sowie Open-Source-Tools, die schwieriger zu schützen und leichter auszunutzen sind, weil jeder den Code bearbeiten – und missbrauchen – kann.

Die MITRE-Analyse dieses Jahres testete die Fähigkeit der Anbieter, zwei Szenarien namens SNAKE und CARBON zu erkennen. MITRE setzte mehrere Tools für offensive Sicherheit ein, darunter Keylogger und Mimikatz, um Angriffe auf die Umgebungen der Anbieter zu starten. Außerdem wurden die Schutzfunktionen der Anbieter getestet: Sie mussten sich dreizehn Tests stellen – einige davon mit zahlreichen Schritten –, um festzustellen, bei welchem Schritt sie einen Angriff stoppen konnten.

An den Erkennungs- und Schutz-Evaluierungen von MITRE haben üblicherweise Anbieter von Endpoint-Sicherheit teilgenommen. Die Erkennungstests eignen sich am besten für Endpoint Detection and Response (EDR)-Produkte, während sich die Schutztests auf die Fähigkeiten von Endpoint-Protection-Plattformen (EPP) konzentrieren. Anbieter, die sowohl EDR- als auch EPP-Funktionen für Windows und Linux anbieten, können an mehr Schritten einer Evaluierung teilnehmen als Anbieter mit einem begrenzteren Angebot. Im Laufe der Zeit haben sich zunehmend Sicherheitsanbieter an dem angesehenen Programm beteiligt, deren Hauptstärken in anderen Bereichen liegen.

Wir empfehlen Käufern von Sicherheitslösungen, diese Anbieter – einschließlich ihrer MITRE-Ergebnisse im Zeitverlauf – zu recherchieren, bevor sie eine Kaufentscheidung treffen. Unsere Analyse bietet eine hilfreiche Perspektive auf die MITRE-Evaluierungen. Wie wir jedoch in unserer Analyse der Ergebnisse des vergangenen Jahres angemerkt haben, muss Ihr Unternehmen Sicherheitsprodukte in der eigenen Infrastruktur testen, bevor Sie wissen, ob sie für Sie funktionieren. Auch ein Blick auf die Details der MITRE-Tests kann wichtige Erkenntnisse darüber liefern, wie sich ein Produkt in Ihrer Umgebung möglicherweise verhält.

So analysieren Sie die MITRE-Ergebnisse dieses Jahres

Die MITRE-Ergebnisse wurden in zwei Kategorien unterteilt: Erkennung (SNAKE- und CARBON-Szenarien) und Schutz (13 Tests zur Fähigkeit eines Produkts, einen Angriff zu stoppen).

Die Erkennungsevaluierung umfasste insgesamt 143 Schritte. Für Anbieter, die die Linux-Tests übersprungen haben, sinkt diese Zahl auf 132. Zur Berechnung der Erkennungswerte teilten wir die Gesamtzahl der erfolgreich erkannten Schritte durch 143 (oder 132).

Die Erkennungstests umfassen einen Analysewert, einen Telemetrie-Wert und einen Sichtbarkeitswert. Die Analyseabdeckung erkennt die Bedrohung nicht nur, sondern versieht sie auch mit der standardisierten MITRE-Kennung. Die Telemetrieabdeckung bezeichnet die Erfassung von Rohdaten zu einem Bedrohungsereignis, die nicht unbedingt Kontext enthalten. Die Sichtbarkeitsabdeckung ist die Gesamtzahl der Erkennungen, die MITRE getestet hat und die der Anbieter erfolgreich erkannte. In unserer Analyse der MITRE-Tests berücksichtigen wir ausschließlich den Sichtbarkeitswert.

Die Erkennungs- und Schutzwerte von Cisco und Check Point wurden laut MITRE aufgrund technischer Probleme nicht erfasst.

Die Schutzkomponente besteht aus 13 Tests. Dabei wird bewertet, welche Anbieter alle dreizehn Angriffssequenzen stoppen können und wie schnell ihnen das gelingt. Die meisten der 13 Tests umfassten mehrere Angriffsschritte. Die Schutztests waren optional, und nicht alle Anbieter nahmen teil, darunter Rapid7 und WithSecure.

Auf der Schutzseite hatten mehrere Anbieter insbesondere mit einigen wenigen Tests zu kämpfen. Viele Anbieter verfehlten Test drei, darunter Fortinet, Bitdefender und Sophos. Auch Malwarebytes konnte ihn nicht abschließen.

Auch mit Test sieben hatten viele Anbieter Schwierigkeiten. Fortinet schloss Test sieben zwar letztlich ab, benötigte dafür aber viele Schritte. Bei Bitdefender war es genauso. VMware Carbon Black schloss Test sieben nicht ab, und Tehtris verfehlte jeden einzelnen Schritt. Einige Anbieter hatten auch mit Test 13 Probleme. Die Evaluierungen dieses Jahres zeigten einige gemeinsame Muster; bestimmte Schutztests erwiesen sich als besonders schwierig.

Palo Alto Networks erzielte die volle Punktzahl: Das Unternehmen erkannte alle 143 Erkennungstests und stoppte alle 13 Schutztests bereits im ersten Schritt. Drei weitere Anbieter – Microsoft, CrowdStrike und Cybereason – erkannten ebenfalls erfolgreich alle 143 Erkennungstests und stoppten die 13 Schutzangriffe, verfehlten jedoch vor dem Stoppen der Bedrohung eine kleine Anzahl der Schutzschritte.

Mehrere andere Anbieter zeigten starke Leistungen, doch die Ergebnisse vieler Anbieter ließen insbesondere beim Schutz noch Raum für Verbesserungen. Viele namhafte Sicherheitsanbieter schafften es nicht, mehrere Schutztests zu stoppen. Produktteams nutzen die Tests typischerweise, um ihre Angebote zu verbessern – die Teilnahme ist daher immer ein Nettovorteil.

Die Anbieter haben auf mehrere Einschränkungen der Evaluierungen hingewiesen – insbesondere darauf, dass die Erkennungstests möglicherweise manipuliert werden können, indem Anbieter die Erkennungsempfindlichkeit so hoch einstellen, dass in der Praxis Fehlalarme entstehen. Einige Anbieter erklärten außerdem, dass sie wichtige Sicherheitsfunktionen deaktivieren mussten, um teilzunehmen. Dadurch werden die Schutztests zum wichtigeren der beiden Testbereiche; viele begrüßten sie, als sie vor zwei Jahren eingeführt wurden.

Die Ergebnisse bei Erkennung und Schutz waren durchwachsen

Viele der Vorjahressieger erzielten auch in diesem Jahr hohe Erkennungswerte, darunter Palo Alto, Microsoft, CrowdStrike und Cybereason. Fünf Anbieter erhielten bei den Erkennungsevaluierungen perfekte Sichtbarkeitswerte. Sophos gelang dabei ein bemerkenswertes Comeback nach einem mittelmäßigen Ergebnis im Jahr 2022 – ein Beleg dafür, dass Anbieter die Ergebnisse häufig zur Verbesserung ihrer Produkte nutzen.

Die folgende Tabelle zeigt den Gesamtsichtbarkeitswert jedes Anbieters in den Erkennungstests, geordnet von der höchsten zur niedrigsten Anzahl erfolgreicher Erkennungstests.

Die Ergebnisse der Schutztests zeigten in diesem Jahr eine große Leistungsbreite. Nur sieben Anbieter stoppten alle Tests, denen sie sich stellten – genauso viele wie im vergangenen Jahr. Viele Anbieter verfehlten jedoch mehrere Schutztests vollständig. Insgesamt gab es 13 Tests, und viele davon umfassten mehrere Schritte. Diese Tabelle vergleicht drei verschiedene Werte:

• Die Anzahl der von 13 Tests, die der Anbieter stoppen konnte
• Die Anzahl der von 13 Tests, die der Anbieter im ersten Schritt stoppte
• Die Gesamtzahl der verfehlten Schritte aus allen 13 Tests (wenn ein Anbieter beispielsweise einen Test im fünften Schritt stoppte, verfehlte er allein bei diesem Test vier Schritte)

Diese Kennzahlen zeigen verschiedene Facetten der Schutztests und nicht einen einzigen Gesamtprozentsatz.

Palo Alto stoppte alle Tests und bestätigte damit erneut unser Vertrauen als führender Cybersicherheitsanbieter insgesamt. Symantec und Cybereason schnitten hier besonders gut ab. Malwarebytes und Tehtris erzielten beim Schutz die schwächsten Ergebnisse und konnten nur 7 von 13 Tests stoppen. Fortinet stoppte zwar 12 der Tests, verfehlte während des Testprozesses jedoch beachtliche 43 Angriffsschritte. Je tiefer Angreifer in Ihre Umgebung eindringen, desto größeren Schaden können sie anrichten.

Fazit: MITRE-Werte sind wertvoll, aber nicht alles

MITRE-Evaluierungen sind für Sicherheitsanbieter alles andere als einfach. Gerade diese Schwierigkeit macht sie in einem Markt besonders wertvoll, in dem Käufern nur wenig Sichtbarkeit geboten wird. Auch Anbieter, die wie Rapid7 nur die Erkennungstests absolvieren, verdienen Anerkennung dafür, dass sie in einem Bereich – etwa EDR –, für den sie nicht besonders bekannt sind, nach Spitzenleistungen streben.

Wir empfehlen Ihnen, die MITRE-Ergebnisse selbst zu studieren, wenn Sie mehr erfahren möchten oder den Kauf eines Produkts von einem dieser Anbieter erwägen. Unsere Interpretation ist lediglich eine Möglichkeit, die Daten zu betrachten.

Bedrohungen werden im Laufe der Zeit immer ausgefeilter, und Sicherheitsanbieter stehen vor der schwierigen Aufgabe, mit dem Einfallsreichtum der Angreifer Schritt zu halten. Damit sind MITRE-Evaluierungen eines der besten verfügbaren Lernwerkzeuge – sowohl für Käufer von Sicherheitslösungen als auch für Anbieter.

Weiterlesen:

• Die führenden Cybersicherheitsunternehmen
• Die besten Endpoint-Detection-and-Response-(EDR)-Lösungen
• Enterprise-SIEMs übersehen 76 Prozent der MITRE-ATT&CK-Techniken