Hoe we antivirus lab tests interpreteren

Werkt uw antivirus? U wilt waarschijnlijk niet een live virus uitbrengen alleen om te controleren. Gelukkig doen onafhankelijke antivirus testlaboratoria over de hele wereld hun best om die vraag te beantwoorden zonder u in gevaar te brengen.

The Labs

Om een ​​idee te krijgen van hoe goed verschillende antivirusproducten presteren, volg ik zes specifieke testlaboratoria. Al deze laboratoria voeren regelmatig tests uit en de resultaten waarop ik vertrouw zijn vrij toegankelijk voor het publiek.

Leveranciers van beveiligingsbedrijven betalen om ICSA Labs en West Coast Labs hun producten te laten testen en certificeren. Als onderdeel van de service werkt het lab samen met de leverancier om eventuele fouten te corrigeren. Ik kijk specifiek naar certificeringen voor malwaredetectie en malwareschoonmaak.

Het eerbiedwaardige Virus Bulletin voert maandelijkse detectietests uit en kent VB100-certificering toe aan producten die al hun "wildlist" -monsters detecteren. Merk echter op dat zelfs één vals positief (een geldig programma dat als malware wordt gedetecteerd) voldoende is om een ​​product te laten mislukken. Daarom kijk ik naar het succespercentage van de afgelopen twaalf maanden.

AV-Test, gevestigd in Magdeburg, Duitsland, beoordeelt regelmatig antivirusproducten op drie gebieden: bescherming, prestaties en bruikbaarheid. Bescherming verwijst naar het afweren van malwareaanvallen, prestaties hebben betrekking op het minimaliseren van het gebruik van systeembronnen en bruikbaarheid houdt een aantal factoren in, waaronder valse positieven. Met zes mogelijke punten in elke categorie is de maximaal mogelijke score 18.

AV-Comparatives voert een breed scala aan tests uit, sommige met hulp en steun van de Oostenrijkse overheid. De bestandsdetectietest meet zowel statische detectie als detectie na het opstarten. Een vergelijkbare test met verouderde malwaredefinities probeert de effectiviteit te meten tegen zero-day-aanvallen. En een dynamische test van een maand daagt elk product uit om infecties te weerstaan ​​door de nieuwste malware. Producten die slagen, worden als STANDAARD beoordeeld; betere producten kunnen een beoordeling krijgen van GEAVANCEERD of GEAVANCEERD +.

Onderzoekers van het in Londen gevestigde Dennis Technology Labs werken heel hard om de praktijkervaring van een gebruiker te simuleren. Ze identificeren malware op het web, leggen de hele kwaadaardige website vast en repliceren deze in een gecontroleerde omgeving, zodat elk product exact dezelfde aanval ervaart. Producten tellen zowel bescherming als het ontbreken van valse positieven en kunnen certificering behalen op vijf niveaus: AAA, AA, A, B en C.

Wat betekent het allemaal?

In het verleden heb ik de feitelijke laboratoriumresultaten samengevat, maar het resultaat was niet zo eenvoudig te interpreteren. In één kolom was 3.0 de topscore, terwijl in een andere 3.0 verschrikkelijk zou zijn. Weer andere kolommen kunnen "100%" of "Y" bevatten. Ik heb mijn grafiek herzien om in plaats daarvan de resultaten in vijf categorieën samen te vatten: Detectie, Opschonen, Bescherming, Valse positieven en Prestaties, samen met een algemene samenvatting. Klik hier om een ​​voorbeeld te bekijken.

Het harde deel hier is dat alle laboratoria verschillende productcollecties en verschillende aantallen testen. AV-Test en AV-Comparatives bevatten doorgaans 20 tot 25 producten in een testrun, terwijl Dennis Labs de neiging heeft meer te doen zoals acht of tien. Ik moet het gewoon doen met welke gegevens beschikbaar zijn, en ik weeg de verschillende tests volgens mijn eigen subjectieve indruk van hun waarde.

Mijn detectiebeoordeling is gebaseerd op de VB100-test en de twee bestandsdetectietests van AV-Comparatives. Certificering voor detectie van ICSA Labs en West Coast Labs kan de beoordeling van een product verhogen, maar als u ze niet heeft, wordt het niet lager.

AV-Comparatives voert een malware-opschoningstest uit die heel specifiek controleert hoe goed producten malware verwijderen die ze detecteren. Ik neem dat op in mijn schoonmaakclassificatie, met een mogelijke boost als West Coast en ICSA Labs de technologie van de leverancier voor het opschonen van malware certificeren. AV-Test heeft een soortgelijke reinigingsspecifieke test besproken; Ik zal die toevoegen indien beschikbaar.

De praktijktest van Dennis Labs gaat over bescherming tegen malware-aanvallen, net als de dynamische test door AV-Comparatives. Ik bekijk beide voor mijn beschermingsklasse, evenals de beschermingscomponent van AV-Test.

AV-Comparatives test de impact die verschillende beveiligingsproducten hebben op de systeemprestaties; De driedelige analyse van AV-Test omvat een prestatiecomponent. Beide gaan in op mijn prestatiebeoordeling.

Valse positieven kunnen een echt probleem zijn; als uw antivirus de nieuwste games in quarantaine blijft plaatsen, schakelt u deze waarschijnlijk uit. Dennis Labs roept een aparte vals-positieve score op die ik gebruik in mijn vals-positieve score. Ik neem ook nota van het feit dat een product een beoordelingsniveau heeft verloren vanwege valse positieven in een van de tests door AV-Comparatives. Tot slot voeg ik het gebruikerscomponent van AV-Test toe.

Perfect? Nee

Sommige leveranciers keuren bepaalde tests niet goed. De stijl van verdediging van Webroot tegen gloednieuwe bedreigingen is niet compatibel met sommige tests. Symantec heeft verklaard dat statische tests weinig waarde hebben en dat alleen dynamische tests voor het hele product nuttige informatie bieden. Sommigen kiezen er helemaal niet voor om deel te nemen of aan zo weinig tests deel te nemen dat geen algemene beoordeling mogelijk is.

Toch is er hier veel te leren. Een product dat vijf sterren over de hele linie krijgt, doet iets goed. Een die aces detecteert maar niet opschoont, is waarschijnlijk niet de juiste keuze om een ​​bestaande malware-besmetting uit te roeien. Ik heb zeker mijn eigen interpretatie verfijnd tijdens het werken aan dit systeem.