Microsoft weerlegt mislukt antivirus-test

Werken in het Microsoft Malware Protection Center moet moeilijk zijn. Hier is uw bedrijf een van de grootste ter wereld, maar een klein (maar weloverwogen) testlaboratorium voor antivirusprogramma's in Duitsland zegt dat uw antivirussoftware de mosterd niet haalt. Niet slechts eenmaal, maar tweemaal in de afgelopen maanden, heeft Microsoft geen certificering van AV-Test ontvangen.

Joe Blackbird, Program Manager bij het Center, legde in een blogpost uit dat het niet slagen van deze test niet betekent dat de gebruiker van Microsoft niet wordt beschermd.

Transparantie bij testen

In overeenstemming met de principes van de AMTSO maakt AV-Test geen geheim van de methodologie die wordt gebruikt bij het uitvoeren van hun voortdurende certificeringstests. Dat betekent dat Blackbird precies kon controleren en verifiëren waarom Microsoft Security Essentials niet is geslaagd.

De test geeft evenveel gewicht aan drie elementen van beveiliging: bescherming (voorkomen dat nieuwe malware een schoon systeem besmet), reparatie (malware verwijderen die al aanwezig is) en bruikbaarheid (het werk doen zonder het systeem te vertragen of valse beschuldigingen van geldige programma's). Microsoft deed het goed op het gebied van reparatie en bruikbaarheid, maar kreeg slechts 1, 5 van de 6 mogelijke punten voor bescherming.

Geen echte wereld?

De belangrijkste bewering van Blackbird is dat deze test niet de praktijkervaring van Microsoft's klanten weerspiegelt. Volgens AV-Test miste Microsoft 28 van de 100 zero-day bedreigingen. Uit de telemetrie van Microsoft blijkt echter dat "99, 997 procent van onze klanten die met 0-dagen hitten, de in deze test geteste malwaremonsters niet tegenkwamen." Merk op dat hij het niet heeft over 99.997 procent van alle klanten. Hij zegt dat van degenen die een zero-day-bedreiging van een soort tegenkwamen, slechts 0, 003 procent er een tegenkwam die AV-Test daadwerkelijk gebruikte.

Maar is dit noodzakelijkerwijs een aanklacht tegen de testmethode? Laten we het andersom bekijken. Zero-day-aanvallen komen constant voor, in grote aantallen. Als de 0, 003 procent slechts één klant vertegenwoordigt, zijn 300.000 klanten met zo'n aanval geconfronteerd. Natuurlijk kan het aantal groter zijn. AV-Test heeft een willekeurige steekproef van 100 gekozen en heeft er toevallig 28 gevonden die Microsoft niet kan detecteren. Dat klinkt nogal slecht, toch?

Microsoft miste ook 9 procent van de 216.000 bestanden in de verzameling "recente malware", maar, aldus Blackbird, de gemiste voorbeelden "vertegenwoordigen niet wat onze klanten tegenkomen. Toen we expliciet naar deze bestanden zochten, konden we ze niet vinden op onze machines van klanten."

Klantgerichte prioriteitstelling

"In december 2012, " vervolgde Blackbird, "hebben we 20 miljoen nieuwe potentieel schadelijke bestanden verwerkt en, met behulp van telemetrie en klantimpact om die bestanden prioriteit te geven, extra bescherming toegevoegd die 4 miljoen verschillende schadelijke bestanden op bijna 3 miljoen computers blokkeerde. Die 4 miljoen bestanden kunnen gevolgen hebben voor de klant als we ze niet op de juiste manier hadden geprioriteerd. " Met andere woorden, Microsoft deed het slecht in deze test vanwege hun nadruk op het prioriteren van bestanden die hun klanten actief zouden beïnvloeden.

Het is een interessant punt, maar andere leveranciers slagen erin hun gebruikers te beschermen en behalen ook topscores van AV-Test. Bitdefender, F-Secure en Trend Micro ontvingen allemaal 6 of 6 mogelijke punten in de beveiligingstest.

Ik geef het punt toe dat AV-Test niet alle malware heeft gebruikt die Microsoft-gebruikers tegenkwamen voor hun test. Dat zou onmogelijk zijn. Antivirus testers moeten hun best doen om representatieve monsters te gebruiken. Mijn eigen praktijktesten met Microsoft Security Essentials, met behulp van voorbeelden die verre van nul zijn, suggereren echter dat het gewoon niet zo effectief is als de beste antivirusproducten.

Volg hem op Twitter @neiljrubenking voor meer informatie van Neil.