Testmodule unter Windows

Benutzbarkeit

Der Fokus beim Test von Schutzprogrammen liegt eindeutig auf der Ermittlung der Schutzwirkung. Doch beim Einsatz im Heimbereich als auch im Unternehmen spielt die Benutzbarkeit der Schutzprodukte eine nicht zu unterschätzende Rolle. Denn Fehlalarme können den Arbeitsablauf ebenso stören wie Angriffe durch Malware. 

Stufe 1: Fälschliche Warnungen oder Blockierungen während des Besuchs von Webseiten

Fälschliche Warnmeldungen bei der Arbeit im Internet sowie das unnötige Blockieren von Internetseiten werden in diesem Teil des Benutzbarkeitstests erfasst. Dabei steuert das Testsystem eine Auswahl von mehreren Hundert vielbesuchten Webseiten an. Es erfasst automatisch, ob und wann ein Schutzprogramm fälschlicherweise Warnmeldungen ausgibt oder gar den Zugriff aufgrund eines Fehlalarms blockiert.

Stufe 2: Fälschliche Erkennungen von normaler Software als Malware während eines Systemscans

Dieser Teil des Fehlalarm-Tests erfasst die Quantität fälschlicher Erkennungen von ungefährlichen Dateien durch die Schutzprogramme. In hunderttausenden Testfällen müssen die Produkte eine möglichst geringe Fehlalarmquote erzielen.

Dateien für die Prüfung stammen aus einem seit über 15 Jahren ständig wachsenden Archiv mit bekanntermaßen gutartiger Software. Dateien aus Graubereichen (darunter etwa Remote- Verwaltungssoftware, Password Recovery-Programme oder kommerzielle Keylogger) werden aus dem Testset entfernt, um nur eindeutige Fehlalarme zu erfassen.

Generell erfolgt ein On-Demand-Scan über das Testset. Für alle Programme ohne On-Demand-Scanfunktion werden die Dateien nacheinander auf dem Testsystem ausgeführt.

Stufe 3 – Fehlalarm-Test bei Standard-Software: Fälschliche Warnungen vor und Blockierungen von bestimmten Aktionen während der Installation und Benutzung von normaler Software

In diesem Modul erfassen die Tester die Anzahl der durch die Produkte verursachten Fehlalarme beim Einsatz der aktuellsten Versionen weit verbreiteter Software. Dabei kommen populäre Programme wie etwa Adobe Reader, Flash, Google Chrome, Java, Thunderbird oder der VLC Media Player zum Einsatz.

Überprüft werden neben dem fehlerfreien Download auch die reibungslose Installation und die problemlose Nutzung. So erfassen die Tester unter anderem fälschliche Warnmeldungen sowie Anfragen seitens der Schutzprodukte, die eine den Arbeitsablauf störende Nutzerinteraktion erfordern. Als Resultat dieser Tests entsteht ein genaues Protokoll über Zahl und Art fälschlich ausgegebener Warnmeldungen und Programmblockaden.