Si les nouvelles évaluations des MSSP par MITRE Engenuity sont révélatrices, les fournisseurs de services de sécurité managés sont un peu comme les enfants de Lake Wobegon : ils sont tous au-dessus de la moyenne.
Sur les 15 MSSP ayant participé à la toute première série de tests de services de sécurité de MITRE, seuls trois n’ont pas signalé de techniques d’attaque lors des 10 étapes de l’évaluation, et dans deux de ces cas, c’était parce que le test n’avait pas pu s’exécuter correctement en raison d’une défaillance du web shell.
Même si l’échantillon est réduit – selon certaines estimations, il existe environ 10 000 MSSP –, il devrait néanmoins rassurer les clients des MSSP : les fournisseurs chargés de défendre leurs réseaux possèdent une expertise démontrable en cybersécurité. Comme il existe peu de mesures de l’efficacité de la sécurité, et qu’aucune n’est meilleure que celles de MITRE, il serait avantageux pour les acheteurs de solutions de sécurité en manque d’information que davantage de fournisseurs de services participent aux prochaines éditions.
Ashwin Radhakrishnan, directeur général d’ATT&CK Evals chez MITRE Engenuity, a déclaré dans un communiqué que l’organisation avait décidé d’évaluer les MSSP en raison de leur importance croissante.
« Plus de la moitié des organisations font appel à des fournisseurs de services de sécurité pour protéger leurs données et leurs réseaux, a déclaré Radhakrishnan. Nous voulions étudier la manière dont ils mettent en œuvre des pratiques de défense fondées sur les menaces pour leurs clients. Nous ne classons pas les fournisseurs dans le cadre de nos évaluations. Les organisations peuvent toutefois utiliser les Evals pour déterminer quels fournisseurs de services sont les mieux à même de combler leurs lacunes en matière de cybersécurité et de répondre à leurs besoins opérationnels particuliers. »
Consultez les meilleurs services de détection et de réponse managées (MDR) et les meilleurs MSSP
Les tests des MSSP évaluent la remontée d’informations, pas la détection
MITRE est surtout connu pour ses évaluations de produits de sécurité des terminaux, mais il existe des différences importantes entre les évaluations de produits et celles de services réalisées par l’organisation.
Les évaluations des MSSP ont examiné les performances des fournisseurs face à des techniques simulant des attaques du groupe de menaces iranien OilRig, choisi pour « ses techniques d’évasion et de persistance, sa complexité et sa pertinence pour le secteur », a déclaré.
L’évaluation a porté sur la capacité des MSSP à signaler les techniques ATT&CK parmi 74 techniques et 10 étapes, de la compromission initiale aux mouvements latéraux, à l’exfiltration et au nettoyage.
Un aspect important des nouveaux tests tient au mot « signaler », plutôt qu’aux détections mesurées dans les tests de terminaux de MITRE. Les équipes rouges de MITRE ont évalué si une technique ATT&CK était signalée ou non, plutôt que si elle était détectée par le fournisseur de services, a indiqué MITRE.
« Dans de nombreux cas, le fournisseur de services a peut-être détecté la technique ATT&CK testée, mais a choisi de ne pas la signaler à MITRE Engenuity parce qu’il estime qu’il s’agit d’une information inutile, ou qu’elle peut être déduite ou présumée à partir d’autres informations fournies à MITRE Engenuity », explique MITRE sur sa page de présentation. « Pour qu’une technique ATT&CK soit considérée comme signalée, les éléments fournis à MITRE Engenuity doivent contenir suffisamment de contexte pour expliquer l’activité. Les données de télémétrie brutes, sans analyse supplémentaire fournie par le fournisseur de services, n’ont pas été considérées comme signalées. »
Cela signifie que les données fournies par les tests ne sont pas aussi claires que celles des évaluations de produits. Ainsi, même si nous avons indiqué ci-dessous le nombre et le pourcentage de techniques signalées par les MSSP, il est, comme toujours, important d’examiner les données en détail pour déterminer ce qui est pertinent au regard des besoins de votre organisation.
Dans un article de blog consacré à l’interprétation des résultats, Radhakrishnan a relevé plusieurs points importants, notamment :
- Toutes les techniques ne se valent pas : « Le signalement de la découverte de processus par un fournisseur de services n’a peut-être pas la même valeur que le signalement du vol d’identifiants, compte tenu de la gravité de l’action. »
- Toutes les procédures ne se valent pas : « La découverte de processus (T1057) via l’interface de ligne de commande (T1059) peut être détectée par la plupart des outils de surveillance des processus. La découverte de processus via une API (T1106) nécessite une surveillance des API. Un fournisseur de services peut avoir signalé l’une, mais pas l’autre. »
Les résultats
Avec ces importantes réserves, voici quelques données de base issues des évaluations.
Un seul MSSP – BlackBerry – n’a signalé aucun résultat lors de l’une des 10 étapes : celle comprenant les cinq techniques par lesquelles les attaquants téléchargent et installent un web shell sur le serveur web Exchange (EWS) à des fins de persistance. BlackBerry a toutefois trouvé de nombreux éléments lors des neuf autres étapes.
Palo Alto Networks et NVISO n’ont pas pu participer à une poignée des 74 techniques, qui n’ont pas pu être exécutées en raison d’une défaillance du web shell.
Par ailleurs, un 16e fournisseur, Trend Micro, n’a pas vu ses résultats publiés après avoir découvert par inadvertance des « informations sensibles ».
« Bien que Trend Micro ait participé à cette première série et ait terminé les tests, après un incident involontaire, Trend Micro a rapidement et de manière responsable informé MITRE Engenuity que son équipe avait découvert des informations sensibles », a déclaré Radhakrishnan à eSecurity Planet. « Conformément à l’accord conclu entre MITRE Engenuity et Trend Micro, MITRE Engenuity n’a pas publié les résultats de Trend Micro. »
Avec ces réserves à l’esprit, voici les nombres bruts et les pourcentages des 74 techniques d’attaque signalées par les MSSP :
| MSSP | Techniques signalées | Taux |
|---|---|---|
| CrowdStrike | 73 | 98.65% |
| Microsoft | 70 | 94.59% |
| SentinelOne | 63 | 85.14% |
| Palo Alto Networks | 58 (sur 69) | 84.10% |
| Rapid7 | 62 | 83.78% |
| Red Canary | 62 | 83.78% |
| Sophos | 62 | 83.78% |
| NVISO | 58 (sur 70) | 82.86% |
| BlueVoyant | 61 | 82.43% |
| Bitdefender | 60 | 81.08% |
| OpenText | 60 | 81.08% |
| WithSecure | 59 | 79.73% |
| CriticalStart | 56 | 75.68% |
| BlackBerry | 45 | 60.81% |
| Atos | 39 | 52.70% |





