Veel beveiligingssuites verbeteren de bescherming in de praktijktest

Onderzoekers van AV-Comparatives, gevestigd in Innsbruck, werken onvermoeibaar om de beschermende kracht van beveiligingssuites zo dicht mogelijk bij een gebruikerservaring te testen. Elke dag onderwerpen ze bijna twintig suites aan daadwerkelijke malwareaanvallen, met behulp van een geautomatiseerd systeem om vast te leggen hoe goed het product de test heeft doorstaan. In de afgelopen zes maanden hebben ze meer dan 3.000 testgevallen doorlopen. De halfjaarresultaten zijn binnen en een indrukwekkend aantal producten is verbeterd sinds het laatste dergelijke rapport.

Het belang van steekproefgrootte

Het is intuïtief duidelijk dat een test als deze meer nauwkeurige resultaten oplevert met een grotere set samples, maar dit keer heeft AV-Comparatives duidelijk de gevolgen van een te kleine sample set uitgelegd. Een eenvoudig afzonderlijk rapport bevat de statistieken en ze zijn een beetje verrassend.

Stel dat een bepaald product 80 procent van een set van 10.000 malwarevoorbeelden heeft gedetecteerd. Stel nu dat u slechts tien willekeurige monsters uit dezelfde verzameling kiest. Aan de hand van een grafiek van alle mogelijke uitkomsten, laat het rapport zien dat het bijna even waarschijnlijk is om dezelfde detectiesnelheid, een hogere detectiesnelheid of een lagere detectiesnelheid te bereiken. Ja, het verminderen van tien monsters is een extreem geval, maar het maakt zeker het punt.

Testmethoden

Met behulp van geautomatiseerde en handmatige zoekmethoden verzamelt het onderzoeksteam elke dag schadelijke URL's. Ze selecteren specifiek een combinatie van directe koppelingen naar malwarebestanden en drive-by downloadsites. Door de monsters één voor één te doorlopen, stellen ze alle producten tegelijkertijd bloot aan een bepaalde URL en kijken ze hoe elk product reageert. Als een onderdeel van de suite de malware afweert, is dat een succes. Als de malware voorbij glijdt en de huishouding opzet, is dat een mislukking.

Soms verschijnt er een melding dat er iets is gevonden, waarin de gebruiker wordt gevraagd of het moet worden geblokkeerd of toegestaan. Voor testdoeleinden kiezen de analisten van AV-Comparatives altijd om de actie toe te staan. Een product dat ondanks deze actie het systeem met succes verdedigt, krijgt alle lof; een product waarmee het systeem kan worden gecompromitteerd vanwege een verkeerde keuze door de gebruiker, krijgt een half krediet.

Zodra een bepaalde testcase is voltooid, worden alle testsystemen opnieuw in beeld gebracht naar een pre-malwarestatus, klaar voor de volgende testcase.

Valse positieven

Een vals positief resultaat treedt op wanneer de beveiligingssoftware de toegang tot een legitiem bestand of een website ten onrechte blokkeert. Het is duidelijk dat u niet wilt dat uw beveiligingspakket geldige bestanden wegvaagt of u weghoudt van onschadelijke websites. AV-Comparatives testte elk product met ongeveer duizend willekeurig gekozen domeinen en ongeveer honderd nieuwe en populaire programma's. Voor testdoeleinden hebben ze elk programma gedownload van de site van de ontwikkelaar, niet van een downloadportaal.

Het rapport merkt op dat statistische en op reputatie gebaseerde beveiligingsanalyse vaak gloednieuwe programma's en sites blokkeert of waarschuwt. Er staat: "Hoewel dergelijke beveiligingstechnieken… helpen bij het behalen van hoge scores… kan dit ook leiden tot detectie / blokkering van onschuldige / schone bestanden en URL's alleen omdat ze… te nieuw zijn." Norton, een sterke voorstander van dit type detectie, neemt niet deel aan AV-vergelijkende testen.

Veel verbetering

Meer dan de helft van de producten in het huidige rapport scoorde beter dan in de vorige editie van dit rapport. Vipre, McAfee en Fortinet faalden allemaal de laatste keer, en verdienden zelfs niet STANDARD, de laagste score. Deze keer beoordeelden Fortinet en McAfee ADVANCED en Vipre haalde het tot STANDAARD. Alle drie hadden hun rating verlaagd vanwege valse positieven; alleen gebaseerd op detectie zouden McAfee en Fortinet de score ADVANCED + als hoogste hebben beoordeeld.

eScan sprong van STANDAARD naar GEAVANCEERD +, terwijl avast!, ESET en Trend Micro zijn verplaatst van ADVANCED naar ADVANCED +. Verschillende anderen die eerder STANDARD beoordeelden, wisten dit keer een ADVANCED-rating te behalen.

Bitdefender behaalt regelmatig topscores over de hele linie in onafhankelijke labotests. Alleen op basis van malwaredetectie zou het ADVANCED + hebben beoordeeld, net als de vorige keer, maar valse positieven hebben het op ADVANCED geslagen. Hetzelfde gebeurde met F-Secure en BullGuard.

De hele product dynamische test van AV-Comparatives is een van de meest arbeidsintensieve tests die ik ben tegengekomen. Het is dan ook niet verwonderlijk dat het laboratorium afhankelijk is van de steun van de Universiteit van Innsbruck en de Oostenrijkse overheid. Het is veel werk, maar het eindresultaat is een test die heel goed benadert hoe goed een product gebruikers in de echte wereld zal beschermen.