Évaluations MITRE ATT&CK 2023 : Palo Alto, Microsoft, CrowdStrike et Cybereason en tête

MITRE Engenuity a publié ses évaluations ATT&CK 2023, qui examinent la manière dont les grands fournisseurs de cybersécurité détectent et empêchent les cybermenaces sophistiquées. Cette année, les évaluations se sont concentrées sur les techniques de Turla, un groupe de menaces basé en Russie.…

Turla utilise un réseau de commande et de contrôle ainsi que des outils open source, plus difficiles à protéger et plus faciles à exploiter, car n’importe qui peut modifier — et détourner — le code.

Cette année, l’analyse de MITRE a testé la capacité des fournisseurs à détecter deux scénarios appelés SNAKE et CARBON. MITRE a utilisé plusieurs outils de sécurité offensive, dont Keylogger et Mimikatz, pour lancer des attaques contre les environnements des fournisseurs. Ces derniers ont également été testés sur leurs capacités de protection, en passant treize tests — certains comportant de nombreuses étapes — afin de déterminer à quelle étape ils pouvaient interrompre une attaque.

Les évaluations de détection et de protection de MITRE ont généralement attiré les fournisseurs de solutions de sécurité des terminaux, les évaluations de détection étant particulièrement adaptées aux produits de détection et de réponse sur les terminaux (EDR) et les tests de protection se concentrant sur les capacités des plateformes de protection des terminaux (EPP). Les fournisseurs proposant à la fois des capacités EDR et EPP pour Windows et Linux peuvent participer à davantage d’étapes d’une évaluation que ceux dont l’offre est plus limitée. Au fil du temps, les fournisseurs de sécurité dont les principaux atouts se situent ailleurs participent de plus en plus à ce programme réputé.

Nous recommandons aux acheteurs de solutions de sécurité d’étudier ces fournisseurs, notamment l’évolution de leurs scores MITRE, avant tout achat. Notre analyse propose une façon utile d’examiner les évaluations MITRE sous un angle particulier. Mais comme nous l’avons indiqué dans notre analyse des résultats de l’année dernière, votre organisation devra tester les produits de sécurité dans sa propre infrastructure avant de savoir s’ils lui conviendront. L’étude du détail des tests MITRE peut également vous fournir des informations importantes sur les performances possibles d’un produit dans votre environnement.

Comment analyser les résultats MITRE de cette année

Les résultats de MITRE ont été répartis en deux catégories : détection (scénarios SNAKE et CARBON) et protection (13 tests évaluant la capacité d’un produit à stopper une attaque).

L’évaluation de la détection comportait au total 143 étapes. Pour les fournisseurs qui n’ont pas effectué les tests Linux, ce nombre tombe à 132. Pour calculer les scores de détection, nous avons divisé le nombre total d’étapes détectées avec succès par 143 (ou 132).

Les tests de détection comprennent un score d’analyse, un score de télémétrie et un score de visibilité. La couverture analytique ne se contente pas de détecter la menace : elle lui attribue également l’identifiant standard MITRE correspondant. La couverture de télémétrie consiste à recueillir les données brutes relatives à un événement de menace, sans nécessairement inclure le contexte. La couverture de visibilité correspond au nombre total de détections testées par MITRE que le fournisseur a détectées avec succès. Dans notre analyse des tests MITRE, nous ne retenons que le score de visibilité.

Selon MITRE, les scores de détection et de protection de Cisco et Check Point n’ont pas été enregistrés en raison de problèmes technologiques.

Le volet protection comprend 13 tests, qui évaluent quels fournisseurs peuvent interrompre les treize séquences d’attaque et à quelle vitesse ils y parviennent. La plupart des 13 tests comportaient plusieurs étapes d’attaque. Les tests de protection étaient facultatifs et tous les fournisseurs n’y ont pas participé, notamment Rapid7 et WithSecure.

Du côté de la protection, plusieurs fournisseurs ont particulièrement peiné sur certains tests. Beaucoup ont échoué au test trois, notamment Fortinet, Bitdefender et Sophos. Malwarebytes n’a pas non plus réussi à le terminer.

Nombreux sont également ceux qui ont eu des difficultés avec le test sept. Fortinet a fini par le terminer, mais au terme de nombreuses étapes. Même constat pour Bitdefender. VMware Carbon Black n’a pas achevé le test sept, et Tehtris a manqué toutes les étapes. Quelques fournisseurs ont aussi rencontré des problèmes avec le test 13. Les évaluations de cette année ont fait ressortir plusieurs tendances communes, certains tests de protection s’étant révélés particulièrement difficiles.

Palo Alto Networks a obtenu un score parfait : il a détecté les 143 tests de détection et interrompu les 13 évaluations de protection dès la première étape. Trois autres fournisseurs — Microsoft, CrowdStrike et Cybereason — ont tous détecté avec succès les 143 tests de détection et interrompu les 13 attaques de protection, mais ont manqué un petit nombre d’étapes de protection avant de stopper la menace.

Plusieurs autres fournisseurs ont réalisé de solides performances, mais les résultats de nombreux acteurs laissent une marge d’amélioration, en particulier sur le volet protection. De nombreux fournisseurs de sécurité de premier plan n’ont pas réussi à interrompre plusieurs tests de protection. Les équipes produit utilisent généralement ces tests pour améliorer leurs offres : leur participation est donc toujours positive au bout du compte.

Les fournisseurs ont signalé plusieurs réserves concernant ces évaluations — notamment le fait que les tests de détection peuvent potentiellement être faussés en réglant la sensibilité de détection à un niveau suffisamment élevé pour générer de fausses alertes dans le monde réel, et que certains fournisseurs ont déclaré avoir dû désactiver des fonctions de sécurité essentielles pour participer. Ces réserves rendent les tests de protection plus importants des deux, et beaucoup les ont accueillis favorablement lorsqu’ils ont été introduits il y a deux ans.

Des résultats contrastés en détection et en protection

Bon nombre des vainqueurs de l’année dernière ont de nouveau obtenu d’excellents scores en détection cette année, notamment Palo Alto, Microsoft, CrowdStrike et Cybereason. Cinq fournisseurs ont obtenu des scores de visibilité parfaits lors des évaluations de détection, et Sophos a signé un retour remarqué après un résultat moyen en 2022, ce qui montre que les fournisseurs utilisent souvent ces résultats pour améliorer leurs produits.

Le tableau suivant présente le score global de visibilité de chaque fournisseur lors des tests de détection, du plus grand nombre de tests de détection réussis au plus faible.

Les résultats des tests de protection de cette année affichent une large gamme de performances. Seuls sept fournisseurs ont interrompu tous les tests auxquels ils ont été soumis, soit le même nombre que l’année dernière. Mais beaucoup ont échoué à plusieurs tests de protection dans leur ensemble. Il y avait 13 tests au total, dont beaucoup comportaient plusieurs étapes. Ce tableau compare trois éléments différents :

• le nombre de tests, sur 13, que le fournisseur a réussi à interrompre
• le nombre de tests, sur 13, que le fournisseur a interrompus dès la première étape
• le nombre total d’étapes manquées par le fournisseur sur l’ensemble des 13 tests (par exemple, s’il a interrompu un test à la cinquième étape, il a manqué à lui seul quatre étapes pour ce test)

Ces indicateurs montrent différents aspects des tests de protection, plutôt qu’un pourcentage global unique.

Palo Alto a interrompu tous les tests, gagnant une fois encore notre confiance en tant que meilleur fournisseur global de cybersécurité. Symantec et Cybereason ont particulièrement bien réussi ici. Malwarebytes et Tehtris ont été les moins performants sur le volet protection, ne parvenant à interrompre que 7 des 13 tests. Et si Fortinet a interrompu 12 des tests, il a manqué pas moins de 43 étapes d’attaque au cours de l’évaluation. Plus les intrus s’enfoncent dans votre environnement, plus les dégâts qu’ils peuvent causer sont importants.

En résumé : les scores MITRE sont précieux, mais ne font pas tout

Les évaluations MITRE sont loin d’être faciles pour les fournisseurs de sécurité, ce qui les rend particulièrement précieuses sur un marché où les acheteurs manquent de visibilité. Même les fournisseurs qui choisissent de ne passer que les tests de détection, comme Rapid7, méritent d’être salués pour leur quête d’excellence dans un domaine — comme l’EDR — pour lequel ils ne sont pas réputés.

Nous vous encourageons à étudier vous-même les résultats MITRE si vous souhaitez en savoir plus ou envisagez d’acheter une solution auprès de l’un de ces fournisseurs. Notre interprétation n’est qu’une méthode parmi d’autres pour examiner les données.

Les menaces ne cessent de gagner en sophistication, et les fournisseurs de solutions de sécurité doivent relever le défi de suivre l’ingéniosité des acteurs malveillants. Les évaluations MITRE constituent donc l’un des meilleurs outils disponibles pour permettre aux acheteurs comme aux fournisseurs de sécurité de progresser.

À lire ensuite :

• Les principales entreprises de cybersécurité
• Les meilleures solutions de détection et de réponse sur les terminaux (EDR)
• Les SIEM d’entreprise manquent 76 % des techniques MITRE ATT&CK