MITRE Engenuity a publié les derniers résultats de ses évaluations de la sécurité des endpoints selon ATT&CK, et les résultats montrent que des noms familiers arrivent en tête avec le plus grand nombre de détections.
Les évaluations MITRE se distinguent par le fait qu’elles reproduisent des menaces persistantes avancées (APT) et des techniques de piratage menées par des États-nations, ce qui les différencie des tests qui peuvent examiner, par exemple, des échantillons statiques de logiciels malveillants.
L’année dernière, MITRE a ajouté des évaluations de la protection à ses tests de détection. Alors que les tests de détection ciblent les outils de détection et de réponse sur les endpoints (EDR), les tests de protection privilégient les plateformes de protection des endpoints (EPP), qui ressemblent quelque peu aux logiciels antivirus traditionnels, mais avec le niveau de sophistication supérieur qu’exige la sécurité informatique des entreprises. Les outils EDR et EPP ont convergé au fil des ans, tout en conservant des fonctions distinctes.
Si les tests MITRE se distinguent par la profondeur des informations de sécurité qu’ils fournissent aux acheteurs comme aux fournisseurs, ils s’accompagnent de plusieurs réserves, comme l’ont souligné MITRE et les fournisseurs de solutions de sécurité.
- MITRE n’attribue pas de note aux résultats et ne cherche pas à déterminer qui a « gagné » ; l’organisation fournit simplement les données brutes. Il revient aux acheteurs et aux fournisseurs de solutions de sécurité de décider comment les exploiter.
- Les fournisseurs indiquent quels outils et quelle configuration ils ont utilisés ; les acheteurs peuvent donc vérifier si cette configuration est pertinente pour leur environnement.
- Les tests ne vérifient pas les faux positifs, ce qui n’incite pas les fournisseurs à s’abstenir de régler leurs outils pour qu’ils détectent tout.
- Par ailleurs, les fonctionnalités automatisées sont souvent désactivées pour permettre certaines techniques d’attaque ; les résultats ne reflètent donc pas toujours toutes les capacités d’un outil de sécurité.
Ainsi, même si les tests MITRE fournissent aux acheteurs davantage de données qu’ils n’en auraient autrement, ceux-ci sont toujours encouragés à mener leurs propres recherches et tests, tout comme les fournisseurs exploiteront les résultats pour améliorer leurs défenses.
Mais de même que les fournisseurs présentent les résultats à leur avantage, nous allons également analyser les données pour tenter de leur donner un peu de relief — en rappelant qu’il faut vraiment s’assurer que tout outil de sécurité acheté convient à son environnement. Rien ne remplace sa propre évaluation dans son propre environnement.
À lire également : Les meilleures solutions de détection et de réponse sur les endpoints (EDR)
Analyse des résultats
Une première version de cet article reposait sur la méthodologie utilisée par Cynet pour analyser les résultats (nous y reviendrons dans un instant). Mais après quelques objections de lecteurs à cette approche, nous revenons à la méthodologie simple et directe que nous avions utilisée l’année dernière, en quantifiant les résultats des tests de protection et de détection, puis en calculant leur moyenne.
Sur les 30 fournisseurs ayant participé aux évaluations MITRE, 22 ont pris part aux évaluations de détection et de protection ; nous les distinguerons donc du groupe ayant participé uniquement à la détection. Les données sont publiques, chacun peut donc y accéder et les analyser, ce que nous vous encourageons à faire.
L’évaluation de la protection comptait 9 tests généraux et l’évaluation de la détection 109 étapes, mais ces chiffres passaient respectivement à 8 et 90 pour les fournisseurs qui n’avaient pas participé aux tests Linux.
Les 9 tests de protection comprenaient également 109 techniques d’attaque. Cynet a évalué ces tests en fonction du stade auquel la menace était stoppée sur le parcours d’attaque. C’est une manière importante d’examiner les données, mais le problème est que cette méthode a fini par attribuer une moins bonne note à certains fournisseurs qui avaient finalement stoppé une menace qu’à d’autres qui l’avaient entièrement manquée. Exemple approximatif : un fournisseur qui a stoppé une menace dès la première étape mais en a complètement manqué une autre pouvait obtenir une meilleure note qu’un fournisseur ayant stoppé les deux attaques, disons, à la 5e étape.
Dans une déclaration à eSecurity Planet, le directeur technique de Cynet, Aviad Hasnis, a défendu l’approche de l’entreprise. « Plus vous stoppez tôt un attaquant, plus vous êtes efficace en tant que fournisseur pour empêcher d’autres activités malveillantes de se produire. Prenez l’exemple d’un logiciel malveillant qui dérobe des identifiants. Si vous stoppez le logiciel malveillant dès son dépôt sur l’ordinateur, rien de grave ne se produit réellement. En revanche, si vous le stoppez à un stade ultérieur, vos identifiants auront déjà été dérobés. C’est exactement ce que MITRE a testé. »
Il existe peut-être un moyen de pondérer les résultats pour tenir compte à la fois de la profondeur de la pénétration et du score plus général arrêt/non-arrêt, mais une fois encore, nous encourageons toutes les personnes intéressées par ces tests à examiner les données de MITRE elles-mêmes.
De bons résultats pour la cybersécurité
Douze des 22 fournisseurs ont stoppé tous les tests de protection auxquels ils ont été soumis, un résultat encourageant pour la cybersécurité en général.
Sept fournisseurs ont stoppé les 9 tests de protection, y compris l’unique test Linux : Cybereason, SentinelOne, Cynet, Palo Alto Networks, CrowdStrike, Microsoft et BlackBerry Cylance.
Quatre autres fournisseurs ont stoppé les 8 tests d’attaque Windows, tout en faisant l’impasse sur le test Linux : McAfee (désormais associé à FireEye sous le nom de Trellix), Fortinet, VMware Carbon Black et Deep Instinct. Trend Micro a stoppé 8 attaques, tandis que la 9e a été empêchée de s’exécuter par une règle de détection.
Voici les résultats généraux pour les fournisseurs ayant participé aux évaluations de détection et de protection :
| Protection | % de protection | Détection | % de détection | % global | |
|---|---|---|---|---|---|
| Cybereason | 9/9 | 100.00% | 109/109 | 100.00% | 100.00% |
| SentinelOne | 9/9 | 100.00% | 108/109 | 99.08% | 99.54% |
| Cynet | 9/9 | 100.00% | 107/109 | 98.17% | 99.08% |
| Palo Alto Networks | 9/9 | 100.00% | 107/109 | 98.17% | 99.08% |
| CrowdStrike | 9/9 | 100.00% | 105/109 | 96.33% | 98.17% |
| Microsoft | 9/9 | 100.00% | 98/109 | 89.91% | 94.95% |
| BlackBerry Cylance | 9/9 | 100.00% | 89/109 | 81.65% | 90.83% |
| McAfee | 8/8 | 100.00% | 107/109 | 98.17% | 99.08% |
| Fortinet | 8/8 | 100.00% | 87/90 | 96.67% | 98.33% |
| Trend Micro | 8/8 | 100.00% | 105/109 | 96.33% | 98.17% |
| VMware Carbon Black | 8/8 | 100.00% | 90/109 | 82.57% | 91.28% |
| Deep Instinct | 8/8 | 100.00% | 63/90 | 70.00% | 85.00% |
| Malwarebytes | 7/8 | 87.50% | 83/90 | 92.22% | 89.86% |
| Check Point | 7/9 | 77.78% | 103/109 | 94.50% | 86.14% |
| Cisco | 7/9 | 77.78% | 90/109 | 82.57% | 80.17% |
| FireEye | 6/8 | 75.00% | 89/109 | 81.65% | 78.33% |
| Broadcom Symantec | 6/9 | 66.67% | 92/109 | 84.40% | 75.54% |
| AhnLab | 5/8 | 62.50% | 83/90 | 92.22% | 77.36% |
| Sophos | 5/8 | 62.50% | 88/109 | 80.73% | 71.62% |
| Cycraft | 4/9 | 44.44% | 77/109 | 70.64% | 57.54% |
| ESET | 4/8 | 50.00% | 75/90 | 83.33% | 66.67% |
| Uptycs | 1/9 | 11.11% | 92/109 | 84.40% | 47.76% |
Nombre de ces fournisseurs ont également obtenu de bons résultats dans les résultats de l’année dernière, démontrant une certaine constance face à un éventail de menaces avancées. Les performances de Palo Alto lors des tests indépendants menés au fil des ans ont été si constamment solides que l’entreprise figure depuis quelque temps parmi les meilleurs fournisseurs de cybersécurité au classement général, mais 11 autres fournisseurs participant aux évaluations MITRE ont également intégré notre liste générale des meilleures entreprises. Nous classons aussi la plupart des participants aux évaluations MITRE dans notre liste des meilleurs produits EDR, que nous mettrons bientôt à jour.
Des tests difficiles
Les tests MITRE restent l’épreuve la plus exigeante à laquelle puisse être confronté un fournisseur de solutions de sécurité. Les tests de détection reproduisaient les méthodes du groupe de menaces Wizard Spider, qui utilise le rançongiciel Ryuk, ainsi que celles du groupe russe Sandworm, à l’origine de NotPetya. Les étapes de protection portaient sur Emotet et TrickBot, l’extraction d’identifiants Active Directory, Ryuk, la compromission de WebShell, la compromission d’un hôte de domaine et NotPetya.
Compte tenu de la gravité des menaces, les résultats sont une bonne nouvelle pour le secteur en général, à l’heure où la cyberguerre est également devenue une source de préoccupation.
À droite figurent les fournisseurs qui ont participé uniquement aux évaluations de détection. Nous avons toujours estimé que les fournisseurs devaient être salués pour leur participation à des tests indépendants, tant pour les informations qu’elle apporte aux acheteurs potentiels que pour les améliorations qui en découleront dans les produits de cybersécurité.
MITRE publiera bientôt les résultats concernant les outils de déception et les services de sécurité, les premières initiatives de l’organisation au-delà de la sécurité des endpoints.
À lire ensuite : Les meilleures solutions de sécurité XDR