Microsoft gaat van kelder naar fantastisch in nieuwe antivirus-test

Veel onafhankelijke antivirus testlaboratoria hebben ervoor gekozen om Microsoft Security Essentials hun baseline te noemen, los van de producten die worden getest. Als een antivirus het niet beter kan dan Microsoft, is het inderdaad een slecht product. Dennis Batchelder, directeur van het Microsoft Malware Protection Center (MMPC), beweert echter dat laboratoriumtests niet de daadwerkelijke gebruikersbescherming van het product weergeven, en dat Microsoft in de echte wereld veel effectiever is dan de tests aantonen. Een recente test suggereert dat het misschien wel waar is.

Wereldwijde telemetrie

De basis van de bewering van Batchelder is dat de onderzoekers van Microsoft meer weten over de werkelijke prevalentie van specifieke malwarefamilies dan zowat iedereen. Waarom? Omdat elke patch dinsdag het hulpprogramma voor het verwijderen van schadelijke software zowel de aanwezige malware verwijdert als een groot aantal niet-persoonlijke informatie teruggeeft aan Microsoft. De geretourneerde telemetrie bevat welke (eventuele) bedreigingen zijn geneutraliseerd, maar vertelt hen ook de Windows-versie, de versie van geïnstalleerde antivirussoftware, of die software up-to-date is, en meer.

De MMPC-website biedt bezoekers een lichtgewicht samenvatting van de huidige statistieken. Onder de motorkap hebben ze veel meer gegevens en gebruiken ze die gegevens om prioriteit te geven aan bescherming tegen de gevaarlijkste en meest voorkomende malwarebedreigingen. Of dat zeggen ze.

Prevalentie overwegen

Microsoft heeft het bekende laboratorium AV-Comparatives de opdracht gegeven om een ​​recente test opnieuw te evalueren, rekening houdend met de prevalentie van monsters. Dit was een eenvoudige test voor bestandsdetectie: voer een antivirusscan uit bij elk product en noteer hoeveel van meer dan 100.000 monsters het detecteert.

De voorbeelden zijn geselecteerd om in het wild voorkomende malware weer te geven en om oververtegenwoordiging van één malwarefamilie te voorkomen. Bij het berekenen van de detectiesnelheid krijgt elk monster echter hetzelfde gewicht. Het nieuwe rapport neemt dezelfde gegevens en past weging toe op basis van de gerapporteerde prevalentie van Microsoft. De resultaten waren enorm verschillend van het origineel, zoals u kunt zien in de onderstaande tabel.

Weging veranderde de top- en bodemscore niet. Kaspersky Lab staat nog steeds op nummer één en AhnLab bevindt zich nog steeds in de kelder. Maar andere ranglijsten veranderden drastisch. In plaats van voorlaatste te zijn, scoorde Microsoft beter dan driekwart van de concurrentie. En afgezien van Kaspersky kwamen al degenen die boven Microsoft stonden uit lagere ranglijsten.

Evenzo begonnen de meeste producten met de laagste rang veel hoger. Bitdefender, Lavasoft, Kingsoft, Emsisoft, Qihoo en BullGuard stonden oorspronkelijk op een zesde plaats. Na weging naar prevalentie staan ​​ze gerangschikt vanaf de 15e plaats. Baidu nam de grootste sprong, van de tweede plaats naar de 22e. Waarom? Want hoewel het niet veel monsters miste, waren degenen die het wel miste extreem wijdverbreid.

Het volledige rapport van AV-Comparatives beschrijft het weegschema in detail en biedt ook een landspecifieke analyse die de prestaties van elk product op een wereldkaart weergeeft. Er staat: "Dit rapport moet worden beschouwd als een prototype, met als doel een discussie op gang te brengen over het belang van prevalentiegegevens en ideeën voor verbetering van de methode te promoten, " en spreekt de hoop uit dat andere leveranciers telemetriegegevens met Microsoft zullen delen " om een ​​meer significante en onpartijdige klantimpactanalyse te krijgen."

Dat lijkt me een goed plan. De radicaal verschillende resultaten met alleen de prevalentiegegevens van Microsoft suggereren dat we gegevens nodig hebben uit een bredere set bronnen.