CortexがMITRE Engenuityの評価テストで100%の保護と検出を唯一実現

This post is also available in: English (英語) 简体中文 (簡体中国語) 繁體中文 (繁体中国語) Français (フランス語) Deutsch (ドイツ語) 한국어 (韓国語) Português (ポルトガル語（ブラジル）) Español (スペイン語) Italiano (イタリア語)

2023年のMITRE Engenuity ATT&CK Evaluations(ATT&CK評価)の結果が公開。Cortex XDRが唯一、設定変更ゼロ、検出遅延ゼロで、100%の保護と100%の分析的検出の範囲を実現しました。

MITRE Engenuity ATT&CK Evaluations第5ラウンドの結果はすでに公開されています。各ベンダーはすべてにおいて完璧であると主張していますが、「真実は細部に宿る」と言われるとおり、データは嘘をつきません。今年、100%の防御と分析検出を実現した唯一のベンダーはCortexです。

MITRE Engenuity ATT&CK EvaluationsのWebサイトから直接引用した図。2023年のTurlaの初回検出テストの評価結果を掲載。

進化を続けるサイバーセキュリティの世界では、常に一歩先を行くことがこれまで以上に重要になっています。攻撃者は、防御を突破する高度で新たな方法を探し続けています。それは、ルールが常に変わるハイリスク ハイリターンのゲームのようなものであり、後れを取れば破滅的な結果に繋がりかねないものです。

こうした状況に一石を投じたのがMITRE Engenuityであり、彼らが提供するEnterpriseATT&CK Evaluationsは、混沌とした状況での明確な道しるべとして、今日ではCISO、セキュリティ担当者、組織のデジタル資産の保護を担うすべての人にとっての非常に貴重なリソースとなっています。この評価は、業界のエンドポイント セキュリティ ソリューションが、巧妙なサイバー攻撃を前にしてどのように阻止するかを示すパフォーマンス レビューとして機能するものです。

しかし、MITRE EngenuityのATT&CK Evaluationsとは実際どのようなもので、なぜその結果に注目する必要があるのでしょうか。これらの年次評価では、現在最も活発に活動していて悪名高い、いくつかの脅威グループが採用している手法、戦術、手順(TTP)を再現しています。MITRE Engenuityのレッド チームは、サイバーセキュリティ ソリューション プロバイダを招いて、入念に計画された攻撃を(検出のみと防御の2つのモードで)防御してもらい、以下の3つの機能について洞察を収集します。

1. 可視性 – ソリューションにより可視化されるものは何か
2. 検出 – ソリューションで悪意があると正確に特定できるアクションは何か
3. 保護 – ソリューションで防御可能な悪意のあるアクションは何か

本評価に参加するベンダー数は膨大であり(今年は29社) 、これは本評価の価値の高さの裏付けであり、挑戦的かつ刺激的な取り組みを支援するMITRE Engenuityの惜しみない努力を反映したものです。

ラウンド5(Turla)

今年は年次評価を5回行い、MITRE Engenuityのレッド チームは、弊社のUnit 42の脅威研究者が広範囲にわたって研究した脅威グループであるTurlaの手法の再現に焦点を絞りました。Turlaはロシアを拠点とする、莫大な資金力と高度な技術力を持つ脅威グループで、その被害者は45ヶ国以上に及びます。またその標的は、政府機関、軍隊、外交使節だけでなく、研究組織やメディア組織までもが含まれます。Turlaの悪名高さは、政府機関のWebサイトのウォーターホール攻撃などの機密データの流出戦術、カスタム ルートキット、巧妙なコマンド&コントロール ネットワーク インフラストラクチャや欺瞞戦略に端を発しており、今年の防御側の参加者の話からも、MITRE Engenuityの攻撃手法が高度化し、飛躍的な進歩を遂げていたことは明らかです。

ブルー チームは、WindowsとLinuxのいずれのエンドポイントにもCortex XDR Pro for Endpointエージェントを展開しました。追加ソリューションは展開せず、Cortex XDRを標準のデフォルト設定で使用しました。違ったのは、悪意のあるファイルの隔離を有効にし、Linuxでグレイウェアをマルウェアとして扱うオプションを有効にしたことだけでした。

主要指標と評価基準

今年の評価は、2つの検出のみのシナリオ(CarbonとSnake)に分けて行われました。この2つはそれぞれ、Turlaが作成し、使用したことで知られているツールに対応しています。それに続く保護フェーズでは、検出テストと同様の手法を用いていますが、同一には見えないよう、十分なエントロピーを加えています。この2つの検出シナリオにはそれぞれ10個のステップがあり、MITRE ATT&CKフレームワークの実際の手法に対応する複数のサブステップで構成されていました。また、各ベンダーが遭遇する可能性のある143個のサブステップも用意されていました。これらの各サブステップについて、MITRE Engenuityチームは、実行されたアクションが各ソリューションで検出されたかどうかを記録しました。

これらの各検出は、観測された検出の質に基づいて分類されました。

MITRE Engenuityの検出カテゴリは以下のとおりです。

• Not Applicable (該当なし) – 参加者には、テスト対象のシステムに対する可視性がありません(Linuxの評価に不参加の場合にはこちらに分類されます)。
• None (なし) – 未検出(悪意のあるアクティビティに関連するテレメトリなし)。
• Telemetry (テレメトリ) – 最小限の処理が実行されたデータが収集され、イベントが発生したことを示しています(この場合、通常はアクティビティの基本的なログとして記録されます)。
• General (一般) – 異常なイベントが検出されました。ただし、ATT&CK戦術(または同等のコンテキスト)は特定されていません(この場合、セキュリティ アナリストが、どのアクションがなぜ実行されたかを調査して判断する必要があります)。
• Tactic (戦術) – 異常なイベントのATT&CK戦術(または同等のコンテキスト)が特定されました(この場合、アクションの実行理由が示されますが、実行されたアクションや手法をセキュリティ アナリストが調査する必要があります)。
• Technique (テクニック) – 異常なイベントのATT&CK手法(または同等のコンテキスト)が特定されました(この場合、攻撃者がなぜアクションを実行し、具体的にどのようなアクションにより目標を達成したかを把握するために必要なコンテキストと詳細情報が提供されます)。

MITRE Engenuityは、2種類の検出範囲を効率的に特定します。テレメトリ検出の範囲と「分析的検出の範囲」です。テレメトリ検出の範囲は、ソリューションのテレメトリ検出で最も価値の高い検出結果を得られるサブステップ数で定義されます。分析的検出の範囲は、Gneral (一般)、Tactic (戦術)、またはTechnique (テクニック)の検出のいずれかを含むサブステップの数で定義されます。

また、すべての検出で、以下の2つのサブ検出カテゴリ(Modifier)のいずれかが割り当てられている可能性があることにも注目してください。

• Configuration Change (設定変更) – Configuration Change修飾子は、テストの4日目、つまりベンダーが初回のテストで見逃した悪意のあるアクティビティを検出するための2回目のチャンスを与えられた日にそのアクティビティが検出された場合に記録されます。
• Delayed Detection(検出遅延) – Delayed Detection修飾子は、検出がタイムリーに実行されなかった場合、つまり、アクションの実行およびベンダーのコンソールでの検出で大幅な遅延が発生したときに記録されます。

保護シナリオでは、129個のサブステップが13個の主要ステップにまとめられています。これらのサブステップでは、各保護サブステップは、ブロックされるか、ブロックされずに以下のいずれかとして記録されます。

• 保護 – 悪意のあるアクティビティがブロックされました。
• 該当なし (保護) – 防御ステップの前のサブステップがブロックされ、後続のサブステップが阻止されました。
• なし – 悪意のあるアクティビティがブロックされませんでした。

Cortex XDRのパフォーマンスは?

この評価の目的は、以下の3つの機能について洞察を提供することです。

1. 可視性 – ソリューションにより可視化されるものは何か
2. 検出 – ソリューションで悪意があると正確に特定できるアクションは何か
3. 保護 – ソリューションで防御可能な悪意のあるアクションは何か

Cortex XDRは、100%の保護を提供しながら、100%の可視性と100%の分析的検出の範囲(検出)を、設定の変更と検出の遅延なしで実現した唯一のソリューションです。

さらに、Techniqueレベル (最も高質の検出) での143件中142件の検出という、類まれな高質の検出を達成しています。その他1件の検出は、Tacticレベルの検出と認められました。保護評価の129個の各サブステップはすべてブロックされており、そのすべてが、「設定変更」ゼロ、「検出遅延」ゼロで達成されました。実際に設定変更による検出を除外した場合、Cortex XDRが検出漏れなし(検出の種類がNone)の唯一のベンダーでした。つまり、Cortex XDRは可視性100%の唯一のベンダーに位置付けられます。

パロアルトネットワークスのMITRE Engenuity ATT&CK Evaluationsダッシュボード。2023年のTurlaの評価の結果を示すスナップショット。

今年の評価結果は、パロアルトネットワークスが攻撃者の調査とエンドポイント セキュリティのエンジニアリングのいずれにも膨大な労力を注ぎ続けており、厳しさを増すサイバー世界に直面しているお客様の安全を確保するために知識を役立てていることを示すものとなりました。

100%についての注記

ATT&CKの評価結果を何年か追跡して調べたことがあれば、100%という表現は見慣れているかもしれません。ただし、その他のソリューションが今年の評価で100%を達成したと主張していても、すべての主要ステップで1件以上の検出または防御、あるいはその両方を達成したにすぎません。実行された悪意のあるアクション(サブステップ)を1つも逃さず検出したのは、Cortexのみです。

100%の検出と防御は、私たちすべてが目指すべき基準です。ForresterのAllie Mellen氏は昨年の評価で、「既知の脅威アクターによる攻撃の検出は、セキュリティ製品の機能が成し得る最大限のことでなく、最低限のことと捉えるべき」と指摘しました。1 弊社もこれに完全に同意し、Cortex XDRがその基準となりました。

また、Allie氏は「あらゆる手法を検出して、高確率で誤検出が発生したり、過剰にアラートを発したりして煩雑になる可能性がある」ソリューションでは100%の検出が必ずしも適切ではないかもしれないとも指摘しています。弊社もまた同様の考えのもと、機械学習を十分に活用して、通常の動作を示しているアクティビティや悪意のある可能性のあるアクションを判断しています。Cortex XDRでは、他の多数の主要データ ソースからの追加テレメトリを統合し、調査でどこを重視すべきかを判断するうえで重要な手がかりを明らかにすることでアプローチしています。

ATT&CK Evaluationsの結果について

MITRE Engenuityによる今年の評価は、過去数年間に比べて非常に難しいものとなりました。また、防御側が豊富な情報に基づいて意思決定を下せるよう改善されたのは、素晴らしいことでした。ATT&CK Evaluationsの評価結果は、MITRE Engenuityのサイトに掲載されており、現在は3社のベンダーの結果を比較検討できるようになっています。3つの評価シナリオと、最大3社のベンダーをそれぞれ選択できます。デフォルトでは、検出遅延が結果に示されるとともに、設定変更後の結果も示されます。また、これらの修飾子を除いた検出結果も表示できます。

MITRE Engenuity ATT&CK EvaluationsのWebサイトでの保護評価の結果。Cortex XDRのみが100%防御を達成。

データ可視化ツールを使用してすべてのベンダーの結果を表示できないことから、今まではATT&CK Evaluationsの結果を理解するのは困難だとされていました。そこでこの度、その手助けができるよう、弊社は今年だけでなく過去すべての結果を閲覧できるツールを作成しました。このツールを使用することで、関心のあるベンダーと、再現された特定の攻撃者を選択できます。結果として表示されるチャートはすべて、MITRE Engenuityが各参加ベンダーに提供したJSONファイルから直接作成されます。ATT&CK Evaluationsの結果をご自身で確かめていただけば、ビジネスを守るために最適な選択肢がデータから明らかになります。

パロアルトネットワークスのMITRE Engenuity ATT&CK Evaluationsダッシュボード。Techniqueレベルの検出とブロックされたサブステップの両方について、全5年間の評価結果を示すスナップショット。

1. Forrester®およびAllie Mellen氏。「Principal Analyst」。MITRE ATT&CK評価: Getting 100% Coverage Is Not As Great As Your Vendor Says It Is (100%の検出範囲でもベンダーが言うほど優秀なわけではない)、Forrester®、2022年、 https://www.forrester.com/blogs/mitre-attck-evals-getting-100-coverage-is-not-as-great-as-your-vendor-says-it-is/.2023年9月19日閲覧。