MITRE Engenuity hat die neueste Runde seiner ATT&CK-Evaluierungen zur Endpoint-Sicherheit veröffentlicht. Die Ergebnisse zeigen einige bekannte Namen an der Spitze – mit den meisten Erkennungen.
Die MITRE-Evaluierungen sind insofern einzigartig, als sie fortgeschrittene, dauerhafte Bedrohungen (APT) und Hacking-Techniken staatlicher Akteure simulieren. Dadurch unterscheiden sie sich von Tests, die beispielsweise statische Malware untersuchen könnten.
Im vergangenen Jahr hat MITRE zusätzlich zu seinen Erkennungstests Evaluierungen zum Schutz eingeführt. Während sich die Erkennungstests an Tools zur Erkennung und Reaktion an Endpunkten (EDR) richten, stehen bei den Schutztests Endpoint-Protection-Plattformen (EPP) im Mittelpunkt, die herkömmlicher Antivirensoftware ähneln, jedoch über die höhere Komplexität verfügen, die die IT-Sicherheit in Unternehmen erfordert. EDR- und EPP-Tools sind im Laufe der Jahre zunehmend zusammengewachsen, behalten aber ihre unterschiedlichen Funktionen.
Die MITRE-Tests sind zwar einzigartig, was die Tiefe der Sicherheitsinformationen betrifft, die sie Käufern und Anbietern liefern, doch sie haben einige Einschränkungen, auf die sowohl MITRE als auch Sicherheitsanbieter hingewiesen haben.
- MITRE bewertet die Ergebnisse nicht und versucht auch nicht zu sagen, wer „gewonnen“ hat, sondern stellt lediglich die Rohdaten bereit. Wie sie verwendet werden, liegt bei den Käufern und Anbietern von Sicherheitslösungen.
- Die Anbieter stellen Informationen zu den verwendeten Tools und Konfigurationen bereit. Käufer können anhand dieser Angaben prüfen, ob die Konfiguration für ihre Umgebung relevant ist.
- Die Tests prüfen nicht auf Fehlalarme. Daher gibt es keinen Anreiz, Anbieter davon abzuhalten, ihre Tools so zu optimieren, dass sie alles erkennen.
- Automatisierte Funktionen werden häufig deaktiviert, um bestimmte Angriffstechniken zu ermöglichen. Daher spiegeln die Ergebnisse nicht immer die vollständigen Fähigkeiten eines Sicherheitstools wider.
Die MITRE-Tests liefern Käufern also zwar mehr Daten, als ihnen sonst möglicherweise zur Verfügung stünden, dennoch sollten sie eigene Recherchen und Tests durchführen. Auch die Anbieter werden die Ergebnisse nutzen, um ihre Sicherheitsmaßnahmen zu verbessern.
Doch ebenso wie Anbieter die Ergebnisse zu ihrem Vorteil auslegen, werden auch wir die Daten analysieren und versuchen, ein Gesamtbild daraus zu gewinnen – mit dem Hinweis, dass Sie unbedingt sicherstellen müssen, dass jedes von Ihnen gekaufte Sicherheitstool zu Ihrer Umgebung passt. Nichts ersetzt eine eigene Evaluierung in der eigenen Umgebung.
Lesen Sie auch: Die besten Lösungen für Endpoint Detection & Response (EDR)
Analyse der Ergebnisse
Ein früherer Entwurf dieses Artikels stützte sich auf die von Cynet verwendete Methodik zur Analyse der Ergebnisse (mehr dazu gleich). Nachdem Leser diese Vorgehensweise jedoch in einigen Punkten beanstandet hatten, kehren wir zu der einfachen und geradlinigen Methodik zurück, die wir im vergangenen Jahr verwendet haben. Dabei haben wir die Ergebnisse der Schutz- und Erkennungstests quantifiziert und den Durchschnitt aus beiden gebildet.
Von den 30 Anbietern, die an den MITRE-Evaluierungen teilnahmen, absolvierten 22 sowohl die Erkennungs- als auch die Schutzprüfungen. Daher trennen wir sie von der Gruppe, die nur an den Erkennungstests teilnahm. Die Daten sind außerdem öffentlich verfügbar, sodass jeder darauf zugreifen und sie analysieren kann – wozu wir Sie ausdrücklich ermutigen.
Die Schutz-Evaluierung umfasste 9 umfangreiche Tests, die Erkennungs-Evaluierung 109 Schritte. Bei Anbietern, die nicht an den Linux-Tests teilnahmen, sank diese Zahl jedoch auf 8 beziehungsweise 90.
Die 9 Schutztests umfassten außerdem 109 Angriffstechniken. Cynet bewertete diese Tests danach, wie früh im Angriffsverlauf die Bedrohung gestoppt wurde. Das ist eine wichtige Perspektive auf die Daten. Problematisch war jedoch, dass dadurch einige Anbieter, die eine Bedrohung letztlich stoppten, schlechter bewertet wurden als andere, die sie vollständig verfehlten. Ein grobes Beispiel: Ein Anbieter, der eine Bedrohung bereits im ersten Schritt stoppte, eine andere jedoch vollständig verfehlte, könnte eine höhere Punktzahl erhalten als ein Anbieter, der beide Angriffe beispielsweise im fünften Schritt stoppte.
In einer Stellungnahme gegenüber eSecurity Planet verteidigte Cynet-CTO Aviad Hasnis die Vorgehensweise des Unternehmens. „Je früher Sie einen Angreifer stoppen, desto effizienter verhindern Sie als Anbieter, dass weitere schädliche Aktivitäten stattfinden. Denken Sie an Malware, die Anmeldedaten stiehlt. Wenn Sie die Malware stoppen, sobald sie auf dem Computer abgelegt wird, geschieht tatsächlich nichts Schlimmes. Stoppen Sie sie dagegen erst zu einem späteren Zeitpunkt, wurden Ihre Anmeldedaten bereits gestohlen. Genau das hat MITRE getestet.“
Vielleicht gibt es eine Möglichkeit, die Ergebnisse so zu skalieren, dass sowohl die Eindringtiefe als auch die umfassendere Bewertung „gestoppt/nicht gestoppt“ berücksichtigt werden. Aber auch hier empfehlen wir allen, die sich für die Tests interessieren, die MITRE-Daten selbst zu untersuchen.
Gute Ergebnisse für die Cybersicherheit
Zwölf der 22 Anbieter stoppten alle Schutztests, mit denen sie konfrontiert waren – ein vielversprechendes Ergebnis für die Cybersicherheit insgesamt.
Sieben der Anbieter stoppten alle 9 Schutztests, einschließlich des einen Linux-Tests: Cybereason, SentinelOne, Cynet, Palo Alto Networks, CrowdStrike, Microsoft und BlackBerry Cylance.
Vier weitere Anbieter stoppten alle 8 Windows-Angriffstests, nahmen aber nicht am Linux-Test teil: McAfee (jetzt gemeinsam mit FireEye als Trellix geführt), Fortinet, VMware Carbon Black und Deep Instinct. Trend Micro stoppte 8 Angriffe; die Ausführung des 9. Angriffs wurde durch eine Erkennungsregel verhindert.
Nachfolgend sind die zusammengefassten Ergebnisse für die Anbieter aufgeführt, die sowohl an den Erkennungs- als auch an den Schutz-Evaluierungen teilnahmen:
| Schutz | Schutz % | Erkennung | Erkennung % | Gesamt % | |
|---|---|---|---|---|---|
| Cybereason | 9/9 | 100.00% | 109/109 | 100.00% | 100.00% |
| SentinelOne | 9/9 | 100.00% | 108/109 | 99.08% | 99.54% |
| Cynet | 9/9 | 100.00% | 107/109 | 98.17% | 99.08% |
| Palo Alto Networks | 9/9 | 100.00% | 107/109 | 98.17% | 99.08% |
| CrowdStrike | 9/9 | 100.00% | 105/109 | 96.33% | 98.17% |
| Microsoft | 9/9 | 100.00% | 98/109 | 89.91% | 94.95% |
| BlackBerry Cylance | 9/9 | 100.00% | 89/109 | 81.65% | 90.83% |
| McAfee | 8/8 | 100.00% | 107/109 | 98.17% | 99.08% |
| Fortinet | 8/8 | 100.00% | 87/90 | 96.67% | 98.33% |
| Trend Micro | 8/8 | 100.00% | 105/109 | 96.33% | 98.17% |
| VMware Carbon Black | 8/8 | 100.00% | 90/109 | 82.57% | 91.28% |
| Deep Instinct | 8/8 | 100.00% | 63/90 | 70.00% | 85.00% |
| Malwarebytes | 7/8 | 87.50% | 83/90 | 92.22% | 89.86% |
| Check Point | 7/9 | 77.78% | 103/109 | 94.50% | 86.14% |
| Cisco | 7/9 | 77.78% | 90/109 | 82.57% | 80.17% |
| FireEye | 6/8 | 75.00% | 89/109 | 81.65% | 78.33% |
| Broadcom Symantec | 6/9 | 66.67% | 92/109 | 84.40% | 75.54% |
| AhnLab | 5/8 | 62.50% | 83/90 | 92.22% | 77.36% |
| Sophos | 5/8 | 62.50% | 88/109 | 80.73% | 71.62% |
| Cycraft | 4/9 | 44.44% | 77/109 | 70.64% | 57.54% |
| ESET | 4/8 | 50.00% | 75/90 | 83.33% | 66.67% |
| Uptycs | 1/9 | 11.11% | 92/109 | 84.40% | 47.76% |
Viele dieser Anbieter schnitten auch in den Ergebnissen des vergangenen Jahres gut ab und bewiesen damit ihre Beständigkeit bei einer Reihe fortgeschrittener Bedrohungen. Die Leistungen von Palo Alto in unabhängigen Tests waren über die Jahre hinweg so konstant stark, dass das Unternehmen seit einiger Zeit unser bester Anbieter für Cybersicherheit insgesamt ist. Doch 11 weitere Anbieter, die an den MITRE-Evaluierungen teilnahmen, schafften es ebenfalls in unsere Liste der insgesamt besten Unternehmen. Außerdem führen wir die meisten MITRE-Teilnehmer auf unserer Liste der besten EDR-Produkte auf, die wir in Kürze aktualisieren werden.
Anspruchsvolle Tests
Die MITRE-Tests bleiben die anspruchsvollsten Prüfungen, denen sich ein Sicherheitsanbieter stellen kann. Die Erkennungstests simulierten die Bedrohungsgruppe Wizard Spider, die die Ransomware Ryuk einsetzt, sowie die russische Gruppe Sandworm, die hinter NotPetya steckt. Bei den Schutzschritten wurden Emotet und TrickBot, das Auslesen von Anmeldedaten aus dem Active Directory, Ryuk, WebShell-Kompromittierung, die Kompromittierung von Domänenhosts und NotPetya untersucht.
Angesichts des Schweregrads der Bedrohungen sind die Ergebnisse für die Branche insgesamt eine gute Nachricht – insbesondere in einer Zeit, in der Cyberkrieg ebenfalls zu einem Problem geworden ist.
Rechts sind die Anbieter aufgeführt, die ausschließlich an den Erkennungstests teilgenommen haben. Wir waren stets der Ansicht, dass Anbieter für ihre Teilnahme an unabhängigen Tests Anerkennung verdienen – sowohl wegen der Informationen, die potenziellen Käufern dadurch zur Verfügung stehen, als auch wegen der Verbesserungen, die daraus für Cybersicherheitsprodukte entstehen.
MITRE wird in Kürze Ergebnisse zu Täuschungstools und Sicherheitsdiensten veröffentlichen – die ersten Schritte der Organisation über die Endpoint-Sicherheit hinaus.
Lesen Sie als Nächstes: Die besten XDR-Sicherheitslösungen