EDR und XDR: Was MITRE-ATT&CK-Tests wirklich aussagen

Lesezeit
5 Minuten
Bis jetzt gelesen

EDR und XDR: Was MITRE-ATT&CK-Tests wirklich aussagen

07.10.2026 - 08:00
Veröffentlicht in:

MITRE-ATT&CK-Evaluierungen gelten als wichtige Orientierung bei der Auswahl von EDR- und XDR-Produkten. Doch aus den Ergebnissen wird häufig mehr abgeleitet, als es die Methodik hergibt: MITRE vergibt weder Noten noch Rankings, und auch hohe Erkennungswerte sagen wenig über Fehlalarme oder den Aufwand im Betrieb aus. Entscheidend ist daher, was die Tests tatsächlich messen, wo ihre Grenzen liegen und welche Schlüsse IT-Verantwortliche daraus ziehen können.

"100 Prozent Erkennung im MITRE-Test" – solche Aussagen finden sich auf Landingpages, in Angebotsanschreiben und Präsentationen, die IT-Verantwortlichen vorgelegt werden. Auf der Seite des Testgebers selbst steht dagegen: "There are no scores, rankings, or ratings." Das wirkt zunächst widersprüchlich. Tatsächlich passt beides zusammen, sobald klar ist, was MITRE veröffentlicht: Rohzählungen je Angriffsschritt. Jede Quote, jede Rangfolge und jede Bestnote entsteht erst durch eine Berechnung Dritter, meist durch die des Anbieters selbst.

So funktionieren die MITRE-Tests

Die MITRE Corporation ist eine private, nicht gewinnorientierte Körperschaft nach US-Recht, die im Auftrag von Behörden staatlich finanzierte Forschungszentren betreibt; dieser Status verbietet ihr, Produkte zu verkaufen oder mit der Industrie zu konkurrieren. Bekannt ist sie für das Schwachstellenverzeichnis CVE und für ATT&CK, die Taxonomie für Angreifertaktiken und -techniken. Die Evaluations laufen seit 2018.

Der gleichnamige Test arbeitet mit einem emulierten Gegner. MITRE stellt die dokumentierten Vorgehensweisen einer real beobachteten Angreifergruppe Schritt für Schritt nach, mit denselben Werkzeugen in derselben Reihenfolge. Geprüft wird nicht, ob ein Produkt eine bestimmte Schadsoftware kennt, sondern ob es eine bestimmte Vorgehensweise bemerkt. Für jeden Teilschritt der Angriffskette wird festgehalten, ob und in welcher Qualität ein Produkt ihn gemeldet hat.

Wer den Test zur Produktauswahl heranzieht, sollte zunächst verstehen, was er strukturell ist: ein Open-Book-Test. Der nachgestellte Angreifer wird Monate vorher öffentlich benannt, die Techniken stehen im ATT&CK-Katalog, die Hersteller konfigurieren ihre Produkte gezielt für dieses Szenario. Während des Laufs sind Konfigurationsänderungen erlaubt und werden lediglich als solche gekennzeichnet. CrowdStrike beschreibt in einem eigenen Blogbeitrag, Anbieter hätten die Gelegenheit, ihre Systeme vorab zu tunen und während des Tests nachzujustieren. Brook Chelmo, im Produktmarketing des Anbieters Exabeam tätig, spricht von einem "MITRE Mode", also von einer eigens für den Test abgestimmten Produktvariante mit Konfigurationen, die im echten Betrieb niemand fahren würde.

Der häufigste Lesefehler betrifft die Detektionskategorien. MITRE stuft jede Beobachtung ein. Erst die beiden obersten Stufen liefern das, womit ein Admin-Team sofort arbeiten kann: eine Meldung mit der Aussage, welches Angriffsziel mit welcher Technik verfolgt wurde. Wer dagegen alles oberhalb von None zusammenzählt, kommt schnell auf beeindruckende Werte. Die Runde 2021 zeigte, wie leicht das aus dem Ruder läuft: Ein einzelner Angriffsschritt konnte mehrere Detektionen erzeugen, sodass die Zahl der gezählten Detections die Zahl der Teilschritte überstieg. Wer daraus eine Quote bildet, landet rechnerisch über 100 Prozent.

MITRE hat die Metriken seither mehrfach umgebaut. Der Nebeneffekt wird bei der Produktauswahl oft übersehen: Ergebnisse verschiedener Runden sind nicht vergleichbar. Wer ein Ergebnis von 2021 neben eines von 2025 stellt, vergleicht zwei Messgrößen und zwei Testumgebungen. Hinzu kommt die Nachjustierung. Eine Detektion, die erst nach einer Konfigurationsänderung erscheint, beantwortet nicht die Frage "Erkennt das Produkt diesen Angriff?", sondern die Frage "Kann der Hersteller es so einstellen, dass es den Angriff erkennt, wenn er ihn kennt?" Für den Betrieb zählt die zweite Frage nur, wenn jemand diese Nachjustierung leisten kann und will: das eigene Admin-Team oder das des Dienstleisters. Fehlt diese Möglichkeit, bleibt die Erkennungsleistung des Werkszustands.

Was die Rohdaten tatsächlich zeigen

Für die eigene Betrachtung der Rohdaten bieten sich deshalb zwei Regeln an: nur Detektionen der beiden obersten Stufen zählen und nur solche ohne vorherige Konfigurationsänderung. Das Ergebnis unterscheidet sich deutlich von der Marketinglesart. Die Runde "Enterprise 2025" stellte zwei Gruppen nach: Scattered Spider in einem Szenario mit Identitätsmissbrauch, Kompromittierung des Single Sign-on und Missbrauch von Clouddiensten sowie Mustang Panda in einem klassischeren Szenario mit Phishing, Sideloading von Programmbibliotheken und Datenabfluss. Elf Anbieter nahmen teil, über beide Szenarien hinweg galt es 90 Schritte zu erkennen.

Infografik mit den fünf MITRE-Detektionsstufen Technique, Tactic, General, Telemetry und None sowie ihrer Bedeutung für die Erkennung von Angriffsschritten.
Bild 1: MITRE unterscheidet fünf Detektionsstufen. Erst Tactic und Technique liefern unmittelbar verwertbare Meldungen. (Quelle: IT-Leistungsverzeichnisse.DE)
 

Drei der elf Produkte erreichten 89 oder 90 Treffer, also praktisch das Maximum, ohne einen einzigen Fehlalarm zu erzeugen. Der Median über alle elf lag bei 33 Treffern, das schwächste Produkt erreichte zehn. Die Spreizung ist damit erheblich größer, als es die Kommunikation der Beteiligten vermuten lässt.

Zwei Einzelbefunde sind aus Administratorensicht lehrreich. Erstens meldete ein Anbieter im Cloud- und Identitätsszenario keinen einzigen Schritt auf den beiden obersten Stufen, im Malware-Szenario dagegen 23 von 28. Ein Produkt kann in einer Angriffsklasse nahezu jeden Schritt melden und in einer anderen praktisch blind sein; wer nur den Gesamtwert liest, sieht diesen Bruch nicht. Zweitens lag der Median im Mustang-Panda-Szenario bei 19 von 28 Schritten, im Scattered-Spider-Szenario bei 21 von 62. Die cloudlastige Angriffskette bereitete den Produkten damit deutlich größere Schwierigkeiten.

Auch die Testumgebung schränkt die Aussagekraft ein. MITRE arbeitet mit einer überschaubaren hybriden Landschaft aus Windows-, Linux- und Cloudkomponenten. Mit einem gewachsenen Unternehmensnetz hat das wenig zu tun: Legacy-Systeme, Softwareverteilung über mehrere Generationen, Terminalserver und über Jahre gewachsene Ausnahmelisten fehlen. Genau dort entstehen im Betrieb die meisten Probleme.

Fehlalarme als Betriebsgröße

Alle diese Zahlen beschreiben nur eine Hälfte des Betriebsalltags, nämlich das, was ein Produkt findet. Die andere Hälfte ist das, was es fälschlich meldet. Bis einschließlich der Runde 2023 maß MITRE ausschließlich die Erkennung, seit "Enterprise 2024" erfasst das Programm auch Fehlalarme. Grundlage sind gutartige Aktivitäten, die bewusst in die Szenarien eingebaut sind und keinen Alarm auslösen dürfen. Martin Zugec, Technical Solutions Director beim Hersteller Bitdefender, beschrieb sie als "booby traps" und verwies im selben Beitrag auf eine wichtige Einschränkung: Die so ermittelten Fehlalarme seien nur ein Ausschnitt der tatsächlich möglichen. Die Zahl taugt daher nicht als statistische Quote.

Balkendiagramm zur Teilnehmerentwicklung der MITRE-ATT&CK-Enterprise-Runden von 2018 bis 2025 mit einem Höchststand von 31 Anmeldungen im Jahr 2023 und elf Teilnehmern 2025.
Bild 2: Die Teilnehmerzahl der Enterprise-Runden ist seit 2023 stark gesunken: von 31 Anmeldungen auf elf Anbieter im Jahr 2025. (Quelle: IT-Leistungsverzeichnisse.DE)
 

Bemerkenswert ist trotzdem die Größenordnung. In der strengen Auswertung der Runde "Enterprise 2025" verteilen sich 40 Fehlalarme sehr ungleich: Drei Anbieter kamen über beide Szenarien auf null, einer im oberen Drittel der Erkennungsleistung meldete zwölf, zwei Produkte mit unterdurchschnittlicher Erkennung jeweils neun. Erkennungsstärke und Ruhe im Betrieb hängen also nicht zwingend zusammen.

Wie teuer die andere Richtung wird, hat Forrester an der Runde 2024 vorgerechnet. Ein Teilnehmer erzeugte über nur drei Szenarien hinweg mehr als eine Million Alarme. Das Fazit der Analysten: Die meisten Produkte feuerten bei jedem als potenziell bösartig eingestuften Schritt eine eigene Meldung, ohne sie zu einem Vorfall zu verdichten. Diese Größe sagt mehr über den späteren Betrieb aus als jede Erkennungsquote, denn sie treibt den Arbeitsaufwand. In der SANS-Umfrage vom Dezember 2025 nannten 73 Prozent der Befragten Fehlalarme als größte Herausforderung, im Vorjahr waren es 64 Prozent.

Der stärkste Einwand gegen MITRE-Ergebnisse als Auswahlkriterium betrifft inzwischen aber weniger die Methodik als die Abdeckung des Marktes. Zur Turla-Runde 2023 meldeten sich 31 Anbieter an, für "Enterprise 2024" waren es 19, für "Enterprise 2025" blieben elf. Ausgestiegen sind dabei nicht die Randanbieter: Microsoft kündigte seinen Verzicht im Juni 2025 an, SentinelOne und Palo Alto Networks folgten im September, jeweils mit dem Hinweis auf die Priorisierung eigener Ressourcen. Damit fehlen der Runde 2025 drei Anbieter, die der aktuelle Gartner Magic Quadrant als Leader führt. MITRE benennt das Problem selbst und gründete im Februar 2026 einen ATT&CK Advisory Council ausdrücklich für die langfristige Tragfähigkeit des Programms.

Für die Produktauswahl folgt daraus eine einfache Regel: Unternehmen können die Teilnahme an einem herstellerunabhängigen Wirksamkeitstest der vergangenen drei Jahre abfragen, ohne ein bestimmtes Institut oder Ergebnis vorzuschreiben. MITRE, AV-Comparatives, AV-TEST und SE Labs dienen dann als gleichwertige Nachweise. Wer dagegen ein MITRE-Ergebnis zur Pflicht macht, schließt einen erheblichen Teil des Marktes aus, ohne damit etwas über dessen Wirksamkeit auszusagen.

Fazit

Eine breiter dokumentierte, standardisierte Gegneremulation gibt es am Markt derzeit nicht. Als alleiniges Auswahlkriterium taugen die ATT&CK Evaluations dennoch nicht: Sie bilden einen vorbereiteten Lauf in einer Laborumgebung gegen einen vorab bekannten Gegner ab, erlauben Nachjustierungen und verzichten auf eine Bewertung durch den Testgeber.

Nützlich sind die Ergebnisse dennoch an drei Stellen. Erstens belegen sie, dass sich ein Anbieter einer standardisierten Prüfung gestellt hat. Zweitens dienen sie als Materialsammlung: Seit Version 18 nennt der ATT&CK-Katalog je Technik konkrete Suchmuster samt Logquelle, insgesamt 691 Detection Strategies und 1.739 Analytics für die Enterprise-Matrix. Damit lässt sich im Anbietergespräch abgleichen, welche davon ein Produkt abdeckt. Drittens bilden die Rohdaten eine bessere Gesprächsgrundlage als daraus abgeleitete Marketingaussagen.

Für die Produktauswahl zählen letztlich Größen mit einer konkreten Einheit: Alarme je tausend Endpunkte und Woche, Zeit bis zur Blockade, Aufbewahrungsdauer der Rohdaten und Zahl der produktiv genutzten Integrationen. Keine davon misst ein öffentlicher Test für die eigene Umgebung. Dafür braucht es eine eigene Teststellung mit identischem Ablauf für alle Anbieter. (ln)

Über den Autor: Ruben Zimmer ist Gründer von IT-Leistungsverzeichnisse.DE (IT-LV) und hat zahlreiche Beschaffungen für EDR, XDR, SIEM, SOC und Managed Detection and Response für private Unternehmen und öffentliche Auftraggeber begleitet.