von Redaktion IT-A…
Lesezeit
1 Minute
Update: Schummelei in AV-Vergleichstests
Ein Auswahlkriterium für Antiviren-Software sind oft die Ergebnisse von Vergleichstests namhafter Institute wie AV-Comparatives, AV-Test oder Virus Bulletin. Nun kam ans Licht, dass nicht nur wie zunächst angenommen, ein Hersteller, sondern zwei Antiviren-Anbieter mit speziellen Testversionen ihrer Software gemogelt haben - wenn auch mit unterschiedlichen Zielsetzungen.
Die drei Antivirus-Testinstitute AV-Comparatives [1], AV-Test [2] und Virus Bulletin [3] haben Ende April in einer gemeinsamen Erklärung [4] veröffentlicht, dass der chinesische Antiviren-Hersteller Qihoo 360 mit seinem Produkt offenbar bei den Vergleichstest gemogelt hat. So habe der Hersteller eine spezielle Version seiner Software eingereicht, die nicht mit der frei erhältlichen Variante übereinstimmt, um bessere Testergebnisse zu erzielen.
So hätte Qihoo 360, dessen Software mehrere Scan-Engines verwendet, offenbar die hauseigene Engine deaktiviert und stattdessen die von Bitdefender lizenzierte Engine eingeschaltet. Dies sei in den für normale Nutzer erhältlichen Versionen so nicht der Fall. Hier schütze in den Standardeinstellungen nur die Qihoo-Engine, während das Bitdefender-Modul zusätzlich aktiviert werden müsse. Im Gegenzug hat Qihoo 360 seine chinesischen Mitbewerber Baidu und Tencent angeschwärzt und auf ebenfalls optimierte Testversionen hingewiesen. Dieser Verdacht hatte sich zunächst nach einer Untersuchung der beiden Produkte durch die Testlabs nicht weiter erhärtet.
In einer Stellungnahme [5] behauptet Qihoo 360, die Testlabs über die unterschiedlichen Grundeinstellungen bezüglich der verwendeten Engines vorab informiert zu haben. Auch gehe das Unternehmen davon aus, dass die meisten User eher langsamere Rechner verwenden, weshalb nur eine der Engines standardmäßig aktiviert sei. In den Labortests gebe es diese Einschränkung jedoch nicht. Auch gebe es laut Qihoo 360 keine Hinweise darauf, dass sich die Testergebnisse von denen aus der Praxis unterscheiden. Die Testlabs haben inzwischen Konsequenzen gezogen und Qihoo 360 die Zertifizierungen für dieses Jahr aberkannt. Auch sollen die Regeln für eingereichte Produkte verschärft werden.
UPDATE vom 06.05.2015: Die drei Testinstitute haben nun doch bestätigt [6], dass auch der Hersteller Tencent seine Produkte für die Vergleichstests manipuliert hat. Dies habe jedoch auf die Perfomance abgezielt, nicht auf die Erkennungsraten, die durch die Anpassung sogar etwas gelitten hätten.
dr
[1] www.av-comparatives.org
[2] www.av-test.de
[3] www.virusbtn.com
[4] www.av-test.org/fileadmin/pdf/VB-AVC-AVT-press-release.pdf
[5] http://blog.360totalsecurity.com/en/qihoo-360-statement-regarding-cheating-in-lab-test/
[6] https://plus.google.com/100383867141221115206/posts/cnTmWbP89Qn
So hätte Qihoo 360, dessen Software mehrere Scan-Engines verwendet, offenbar die hauseigene Engine deaktiviert und stattdessen die von Bitdefender lizenzierte Engine eingeschaltet. Dies sei in den für normale Nutzer erhältlichen Versionen so nicht der Fall. Hier schütze in den Standardeinstellungen nur die Qihoo-Engine, während das Bitdefender-Modul zusätzlich aktiviert werden müsse. Im Gegenzug hat Qihoo 360 seine chinesischen Mitbewerber Baidu und Tencent angeschwärzt und auf ebenfalls optimierte Testversionen hingewiesen. Dieser Verdacht hatte sich zunächst nach einer Untersuchung der beiden Produkte durch die Testlabs nicht weiter erhärtet.
In einer Stellungnahme [5] behauptet Qihoo 360, die Testlabs über die unterschiedlichen Grundeinstellungen bezüglich der verwendeten Engines vorab informiert zu haben. Auch gehe das Unternehmen davon aus, dass die meisten User eher langsamere Rechner verwenden, weshalb nur eine der Engines standardmäßig aktiviert sei. In den Labortests gebe es diese Einschränkung jedoch nicht. Auch gebe es laut Qihoo 360 keine Hinweise darauf, dass sich die Testergebnisse von denen aus der Praxis unterscheiden. Die Testlabs haben inzwischen Konsequenzen gezogen und Qihoo 360 die Zertifizierungen für dieses Jahr aberkannt. Auch sollen die Regeln für eingereichte Produkte verschärft werden.
UPDATE vom 06.05.2015: Die drei Testinstitute haben nun doch bestätigt [6], dass auch der Hersteller Tencent seine Produkte für die Vergleichstests manipuliert hat. Dies habe jedoch auf die Perfomance abgezielt, nicht auf die Erkennungsraten, die durch die Anpassung sogar etwas gelitten hätten.
dr
[1] www.av-comparatives.org
[2] www.av-test.de
[3] www.virusbtn.com
[4] www.av-test.org/fileadmin/pdf/VB-AVC-AVT-press-release.pdf
[5] http://blog.360totalsecurity.com/en/qihoo-360-statement-regarding-cheating-in-lab-test/
[6] https://plus.google.com/100383867141221115206/posts/cnTmWbP89Qn
