Microsoft presteert beter dan symantec in antivirus-test

In de nieuwste on-demand test van AV-Comparatives verloren een flink aantal producten punten door valse positieven - het ten onrechte identificeren van een geldig programma als malware. Symantec en Microsoft scoorden ongeveer hetzelfde op basis van detectie van malwarevoorbeelden, maar Symantec verloor punten door valse positieven. Het verhaal bevat echter meer.

Scannen op aanvraag

De on-demand scantest stelt elk getest product bloot aan een verzameling "monsters van de afgelopen weken / maanden die gebruikers in het veld raken /". De voorbeelden worden verder geanalyseerd om vergelijkbare bestanden te classificeren en de steekproefsetgrootte te verkleinen, dus "elke misser is bedoeld om één gemiste groep te vertegenwoordigen." Deze specifieke test gebruikt 136.610 recente monsters. De initiële score van een product is het percentage gedetecteerde monsters.

Verrassend genoeg vertoonde Norton AntiVirus van Symantec het laagste detectiepercentage (alvorens valse positieven te overwegen), met 91, 2 procent detectie. Microsoft Security Essentials verbeterde hoger en detecteerde 92 procent van de monsters. Met 99, 9 procent detectie stond G Data AntiVirus bovenaan de lijst. Verschillende anderen wisten het beter te doen dan 99 procent.

Valse positieven

AV-vergelijkende onderzoekers gebruiken een clusteringstechniek om de scheidingspunten te identificeren die ADVANCED + (de hoogste beoordeling) scheiden van ADVANCED en ADVANCED van STANDARD. Dat is het uitgangspunt, maar een product met veel (16 tot 50) valse positieven verliest één beoordelingsniveau en één met zeer veel (51 tot 100) verliest er twee. Ongeacht de initiële beoordeling, als een product "crazy many" (meer dan 100) valse positieven vertoont, krijgt het altijd de non-pass rating van TESTED.

Negen van de twintig geteste producten verloren één beoordelingsniveau vanwege veel valse positieven. Ten minste geen van hen had zeer veel of "gekke" FP's. Norton, beginnend met een rating van STANDARD, zakte naar GETEST, net als AhnLab. In de winnaarskring, met een beoordeling van ADVANCED +, vinden we Avira, Bitdefender, BullGuard, F-Secure en Kaspersky. Klik hier om het volledige rapport te bekijken.

Merk op dat u Microsoft niet zult vinden in de awards sectie. Ik dacht eerst dat dit een vergissing was, maar mede-oprichter van AV-Comparatives Peter Stelzhammer zette me recht. "We besloten Microsoft niet meer in de Award-sectie te vermelden (en in verdere tests)", aldus Stelzhammer, "omdat hun out-of-box-beveiliging standaard in Windows is ingeschakeld." Op vergelijkbare wijze heeft AV-Test ervoor gekozen om de score van Microsoft als een minimale basislijn te behandelen.

Gewogen valse positieven

Symantec is al jaren tevreden dat een eenvoudige telling van valse positieven niet nuttig is. Symantec-onderzoekers bevelen aan dat bij elke vals-positieve test de weging wordt gebaseerd op de prevalentie van het betreffende bestand. Ze beweren dat hun Norton Insight-analysesysteem de mogelijkheid van een vals positief uitsluit op alle bestanden behalve bestanden met een lage prevalentie. Een secundair document van AV-Comparatives suggereert dat ze misschien gelijk hebben.

De bijlage Valse positieven bij het rapport op aanvraag bevat elk bestand dat elk product ten onrechte als malware heeft gedetecteerd, samen met de gebruikte malwarenaam en een schatting van de prevalentie. Ze identificeerden vijf niveaus, van "waarschijnlijk minder dan honderd gebruikers" tot "waarschijnlijk enkele honderdduizenden (of miljoenen)".

Gewoon om te zien, ik kies een representatief aantal gebruikers op elk niveau, 50 gebruikers voor het eerste niveau en tien keer groter voor elk hoger niveau, met 500.000 gebruikers van de meest voorkomende programma's. Ik heb vervolgens het aantal gebruikers berekend dat kan worden beïnvloed door de valse positieven van elk product. De resultaten, weergegeven in de onderstaande tabel, suggereren mij dat AV-Comparatives zou moeten overwegen een vergelijkbare gewogen FP-berekening te gebruiken.

In deze grafiek worden de producten die een beoordelingsniveau hebben verloren vanwege valse positieven vetgedrukt cursief weergegeven. Mijn gewogen berekening heeft Norton FP die mogelijk 13.750 gebruikers treft. Verschillende producten die niet op de hoogte kwamen op basis van het aantal FP's hadden eigenlijk een groter effect dan Symantec, waaronder winnaars Kaspersky en F-Secure.

Emsisoft had het grootste aantal valse positieven in het algemeen, 38 van hen. Vreselijk, toch? Maar geen van de twee hoogste niveaus van prevalentie, dus het theoretische effect is minder dan dat van Sophos, met 6 FP's in totaal, of ESET, met 9 FP's.

McAfee behaalde een GEAVANCEERDE beoordeling in de basistest op aanvraag. Met 15 valse positieven komt het net onder het getal waardoor een beoordelingsniveau zou verliezen. Toch is mijn gewogen berekening mogelijk verantwoordelijk voor meer dan tweehonderdduizend gebruikers, bijna 16 keer zoveel als Norton.

Dit zijn geen echte cijfers, maar een gedachte-experiment om te helpen begrijpen wat het gebruik van prevalentie bij het meten van valse positieven zou betekenen. Na deze oefening te hebben gedaan, hoop ik dat AV-Comparatives een manier zullen vinden om de prevalentie mee te nemen in hun vals-positieve testen. Het is duidelijk niet genoeg om alleen de cijfers te tellen.