SEUL Cortex signe le doublé 100 % de protection et 100 % de détection dans l’évaluation MITRE Engenuity 2023

This post is also available in: English (Anglais) 简体中文 (Chinois simplifié) 繁體中文 (Chinois traditionnel) Deutsch (Allemand) 日本語 (Japonais) 한국어 (Coréen) Português (Portugais - du Brésil) Español (Espagnol) Italiano (Italien)

Les résultats de l’évaluation MITRE Engenuity ATT&CK 2023 viennent d’être publiés et le verdict est sans appel : seul Cortex XDR affiche un 100 % en protection et un 100 % en détection analytique, sans aucun retard ni changement de configuration.

La cinquième édition de l’évaluation MITRE Engenuity ATT&CK est close et les résultats sont tombés : si tous les fournisseurs ont trop souvent tendance à s’autocongratuler en revendiquant une note globale de 100 %, les chiffres, eux, ne mentent jamais. Ainsi, cette année, Cortex est le seul fournisseur à afficher un 100 % en prévention et un 100 % en détection analytique.

Dans un secteur aussi mouvant que celui de la cybersécurité, il devient absolument vital de devancer des adversaires qui redoublent d’inventivité pour contourner les défenses. C’est un jeu extrêmement risqué dont les règles changent en permanence et dont les conséquences, pour les perdants, peuvent être dévastatrices.

Pour déployer des cyberdéfenses efficaces et y voir plus clair dans la palette des solutions disponibles, MITRE Engenuity a mis au point son programme d’évaluations ATT&CK. Ces tests grandeur nature constituent une ressource indispensable pour les RSSI, les professionnels de la sécurité et tout autre acteur œuvrant pour la protection des assets numériques d’une entreprise. Elles établissent un point de référence indiscutable sur la performance des solutions de sécurité des terminaux face à des cybermalfaiteurs disposant de très gros moyens techniques, humains et financiers.

Mais en quoi consistent les évaluations MITRE Engenuity ATT&CK et pourquoi leurs résultats ont-ils une telle importance ? Menée une fois par an, cette évaluation émule, c’est-à-dire reproduit à l’identique, les modes opératoires des groupes d’attaque les plus actifs et les plus en vue actuellement. L’équipe Red Team de MITRE Engenuity invite les fournisseurs de solutions de cybersécurité à se mesurer à des attaques minutieusement orchestrées (dans le cadre d’un scénario de détection d’abord, puis de prévention ensuite). L’objectif ? Déterminer leur efficacité dans trois domaines clés :

1. Visibilité : quelles actions la solution permet-elle de voir ?
2. Détection : quelles actions la solution identifie-t-elle correctement comme malveillantes ?
3. Protection : quelles actions malveillantes la solution permet-elle de prévenir ?

Chaque année, un nombre impressionnant de fournisseurs (29 en 2023) participe à ces évaluations, preuve s’il en faut de leur importance et des efforts considérables que MITRE Engenuity déploie pour proposer des épreuves toujours plus complètes et exigeantes.

5e édition (Turla)

Cette année marque la cinquième édition de cette évaluation lors de laquelle la Red Team de MITRE Engenuity a entrepris de reproduire fidèlement les techniques de Turla, un groupe de cybercriminels russes surveillé de près par nos chercheurs d’Unit 42 et qui se distingue par ses modes opératoires et ses moyens financiers particulièrement développés. À ce jour, Turla est l’auteur de compromissions avérées dans plus de 45 pays. Administrations gouvernementales, groupes militaro-industriels, missions diplomatiques, instituts de recherche, médias… Turla cible des entités éminemment stratégiques. Parmi ses méthodes et outils tristement célèbres pour l’exfiltration furtive de données : des attaques par point d’eau (watering hole) de sites Internet gouvernementaux, des rootkits personnalisés, des infrastructures réseau CnC élaborées et des techniques de leurre. Selon les retours d’expérience des participants à l’évaluation de cette année, MITRE Engenuity a clairement élevé la barre en termes de sophistication des attaques reproduites.

Pour y faire face, l’équipe Blue Team de Palo Alto Networks a déployé Cortex XDR Pro pour les agents de terminaux sur les systèmes Windows et Linux. Aucune autre solution n’a été utilisée et Cortex XDR a été configuré selon les paramètres par défaut du produit, avec pour seule différence la possibilité de mettre en quarantaine les fichiers malveillants et, pour Linux, la possibilité de traiter le grayware comme du malware.

Principaux critères d’évaluation et métriques

L’édition de cette année s’est d’abord divisée en deux scénarios de détection uniquement, appelés Carbon et Snake et correspondant à des outils notoirement créés et utilisés par Turla. Le scénario de protection s’est déroulé dans un second temps, mettant en miroir les techniques des tests de détection, avec cependant suffisamment d’entropie pour ne pas paraître identique aux épreuves de détection. Chacun des scénarios de détection comprenait 10 étapes, elles-mêmes subdivisées en de multiples sous-étapes correspondant à des techniques réelles répertoriées dans le framework MITRE ATT&CK. En tout, chaque fournisseur avait la possibilité de détecter 143 sous-étapes. Le travail de l’équipe MITRE Engenuity consistait à compter le nombre de sous-étapes détectées par chaque solution.

Chacune de ces détections a ensuite été évaluée au regard de leur qualité, puis répertoriée dans l’une des catégories ci-dessous.

Catégories de détections de MITRE Engenuity :

• Sans objet (S.O.) : le fournisseur n’a aucune visibilité sur le système testé (c’est notamment le cas des fournisseurs n’ayant pas participé à l’évaluation sous Linux)
• Aucune : le fournisseur n’a rien détecté (aucune télémétrie n’est associée à l’activité malveillante)
• Télémétrique : données faiblement traitées recueillies par la solution de sécurité, indiquant la survenance d’un ou plusieurs évènements (les détections de ce type renvoient généralement à une journalisation basique des activités)
• Générale : l’évènement anormal a été détecté, mais aucune tactique ATT&CK (ou de nature équivalente) n’a été spécifiée (dans ce type de détection, l’analyste de sécurité doit investiguer et déterminer lui-même quelle action a été entreprise et à quelles fins)
• Tactique : une tactique ATT&CK (ou de nature équivalente) a été spécifiée (dans ce type de détection, le motif de l’action est automatiquement identifié, mais l’analyste de sécurité doit encore déterminer lui-même la nature de l’action ou du mode opératoire)
• Technique : une technique ATT&CK (ou de nature équivalente) liée à l’évènement anormal a été spécifiée (les détections de cette catégorie fournissent le contexte et les informations requises pour comprendre pourquoi un adversaire a mené une action donnée, et la nature précise de l’action entreprise pour atteindre son objectif)

MITRE Engenuity opère une distinction entre deux grands types de détection : une couverture télémétrique et une couverture analytique. La couverture télémétrique renvoie au nombre de sous-étapes pour lesquelles une solution parvient à une détection télémétrique, ce niveau de détection étant sa capacité maximale. La couverture analytique se rapporte au nombre de sous-étapes faisant l’objet d’une détection générale, de la tactique ou de la technique employée.

Notons également que toutes les détections peuvent faire l’objet d’une ou deux réserves :

• Changement de configuration – La réserve « changement de configuration » est émise lorsque la détection a lieu au bout du quatrième jour de l’évaluation, étape à laquelle les fournisseurs peuvent effectuer des réglages pour détecter une activité malveillante qu’ils auraient manquée lors du test initial.
• Détection retardée – La réserve « détection retardée » fait référence à une détection qui a lieu au-delà des temps impartis. Autrement dit, un laps de temps important s’écoule entre l’action en elle-même et son apparition sur la console de la solution de sécurité.

Côté protection, le scénario est composé de 129 sous-étapes organisées en 13 étapes majeures. Chacune de ces sous-étapes est considérée comme bloquée ou non bloquée, et est répertoriée selon l’un des critères ci-dessous :

• Protégé : l’activité malveillante a été bloquée
• Sans objet (S.O.) (Protégé) : ce critère est rempli lorsqu’une sous-étape précédente a été bloquée et que, par conséquent, les étapes suivantes n’ont pas pu être exécutées
• Aucune protection : l’activité malveillante n’a pas été bloquée

Cortex XDR : le verdict

Ces évaluations ont pour objectif de détailler les performances des fournisseurs à trois niveaux :

1. Visibilité : quelles actions la solution permet-elle de voir ?
2. Détection : quelles actions la solution identifie-t-elle correctement comme malveillantes ?
3. Protection : quelles actions malveillantes la solution permet-elle de prévenir ?

Cortex XDR s’est imposée comme la seule solution à afficher un 100 % en protection, un 100 % en visibilité et un 100 % en couverture analytique (détection), sans aucun retard ni changement de configuration.

Et ce n’est pas tout : la qualité de nos détections est inégalée puisque 142 détections sur 143 sont classées au niveau technique, soit le plus haut niveau de détection possible. La détection manquante à ce total s’est vue attribuer le niveau tactique. Chacune des 129 sous-étapes du scénario de protection a été bloquée. Le tout, sans aucun changement de configuration ni retard de détection. D’ailleurs, si l’on exclut les détections qui résultent d’un changement de configuration, Cortex XDR est le seul fournisseur à afficher zéro détection manquée (catégorie « Aucune »). En bref, Cortex XDR est la seule solution à démontrer 100 % de visibilité.

Les résultats de l’évaluation de cette année reflètent les intenses efforts que Palo Alto Networks continue de fournir en matière de recherche sur les adversaires et de conception de solutions de sécurité pour les terminaux. Ces connaissances et savoir-faire, nous les mettons à la disposition de nos clients pour les aider à mieux se protéger dans un monde cyber de plus en plus hostile.

Remarque à propos des scores de 100 %

Si vous suivez les évaluations ATT&CK depuis quelques années, vous pensez sûrement que nos résultats n’ont rien d’extraordinaire et que nous ne sommes pas les seuls à décrocher un 100 %. Mais attention, lorsque d’autres fournisseurs revendiquent un score de 100 % dans l’évaluation 2023, cela signifie qu’ils ont satisfait à au moins une détection et/ou prévention dans toutes les étapes majeures. Pour rappel, Cortex est la seule solution à avoir détecté chacune des actions malveillantes menées, à savoir chacune des sous-étapes.

100 % de détection et de prévention devrait être le minimum syndical. Comme l’expliquait Allie Mellen de Forrester à l’issue de l’évaluation 2022, « la capacité à détecter une attaque inspirée des méthodes d’un adversaire connu devrait être le seuil de base des produits de sécurité, et non le plafond. »1 Nous sommes entièrement d’accord et estimons que Cortex XDR fait figure de référence à cet égard.

En contrepoint, l’analyste de Forrester notait également qu’un score de 100 % en détection n’avait pas que des avantages. Pour elle, les solutions qui « détectent la moindre technique peuvent devenir envahissantes, générer un grand nombre de faux positifs et déclencher un volume excessif d’alertes. » C’est aussi notre point de vue et c’est pourquoi nous utilisons le machine learning pour distinguer clairement les activités normales des actes potentiellement malveillants. Dans le cas de Cortex XDR, nous complétons les données télémétriques par de multiples autres sources de data, offrant ainsi à nos clients tout le contexte nécessaire pour guider leurs investigations.

Évaluations ATT&CK : décrypter les résultats

Nous saluons le travail de l’équipe MITRE Engenuity dont l’évaluation a été beaucoup plus ardue que ses éditions précédentes. Par ailleurs, nous sommes ravis des améliorations apportées pour aider les professionnels de la cybersécurité à prendre les bonnes décisions. Disponibles sur le site de MITRE Engenuity, les résultats de l’évaluation ATT&CK vous permettent désormais de comparer les résultats de trois fournisseurs. Vous pouvez choisir chacun des trois scénarios d’évaluation et jusqu’à trois fournisseurs en même temps. Par défaut, les résultats incluent les détections retardées et celles obtenues après un changement de configuration. Mais vous pouvez également voir les résultats des détections effectuées sans ces deux réserves.

Depuis plusieurs années, les lecteurs des évaluations ATT&CK déploraient un certain manque de lisibilité des résultats, en l’absence d’outils de visualisation des données capables de livrer une vue globale des résultats pour l’ensemble des participants. Pour y remédier, nous avons créé notre propre outil pour vous aider à parcourir les résultats de cette année et des années précédentes. Grâce à ce tableau de bord, vous pouvez sélectionner les fournisseurs et les attaquants dont les méthodes ont été émulées. Tous les tableaux obtenus sont créés directement à partir des fichiers JSON fournis par MITRE Engenuity pour chaque fournisseur. Alors à vous de juger : explorez les résultats des évaluations ATT&CK pour prendre vos décisions sur la base de données fiables et objectives.

1. Forrester® et Allie Mellen. « Principal Analyst. » MITRE ATT&CK Evals: Getting 100% Coverage Is Not As Great As Your Vendor Says It Is, Forrester®, 2022, https://www.forrester.com/blogs/mitre-attck-evals-getting-100-coverage-is-not-as-great-as-your-vendor-says-it-is/. Consulté le 19 septembre 2023.