Experts slaan imperva-antivirusstudie dicht

Beveiligingsbedrijf Imperva publiceerde vorige maand een grimmig onderzoek dat suggereert dat dure beveiligingssuites misschien niet het prijskaartje waard zijn en dat alle antivirusprogramma's aan enorme blinde vlekken lijden. Doom-en-somber onderzoek zoals dit vereist altijd een flinke korrel zout, maar na overleg met tal van experts uit de industrie kan een hele shaker nodig zijn.

Imperva keek naar verschillende beveiligingsoplossingen van leveranciers als Kaspersky, Avast, AVG, Microsoft en McAfee, om er maar een paar te noemen. Ze plaatsten deze wachters tegen 82 willekeurig verzamelde malwaremonsters en onderzochten hoe succesvol de beveiligingssoftware was in het detecteren van de malafide software.

Uit hun werk beweert Imperva dat anti-malware software niet snel of responsief genoeg is om moderne bedreigingen te bestrijden. Beveiligingssoftware, schrijft Imperva, is "veel beter in het detecteren van malware die zich snel in enorme hoeveelheden identieke monsters verspreidt, terwijl varianten met beperkte distributie (zoals door de overheid gesponsorde aanvallen) meestal veel mogelijkheden bieden."

Ze vonden ook geen verband tussen het geld dat gebruikers uitgeven aan virusbescherming en de beveiliging van software, en suggereren dat zowel individuele als zakelijke klanten naar freeware-alternatieven kijken.

Onafhankelijke Labs Push Back

De studie heeft veel aandacht gekregen, maar in een gesprek met beveiligingsprofessionals en enkele van de in de studie genoemde bedrijven, ontdekte Security Watch velen die de studie als zeer gebrekkig beschouwen.

Zowat elk laboratorium of beveiligingsbedrijf vond de steekproefgrootte van Imperva van malware te klein om de conclusies van het onderzoek te ondersteunen. Andreas Marx van AV-Test vertelde ons dat zijn bedrijf per week ongeveer een miljoen voorbeelden van nieuwe, unieke malware ontvangt. Op dezelfde manier vertelde Peter Stelzhammer van AV-Comparatives ons dat ze elke dag 142.000 nieuwe kwaadaardige bestanden ontvangen.

Van hun kant schreef Imperva in de studie dat ze opzettelijk een kleine steekproef gebruikten, maar erop staan ​​dat het een demonstratie is van bestaande bedreigingen. "Onze selectie malware was niet bevooroordeeld, maar werd willekeurig van internet gehaald en weerspiegelde een mogelijke methode voor het construeren van een aanval", schrijft Imperva.

NSS Labs onderzoeksdirecteur Randy Abrams had echter een heel andere interpretatie van Imperva's methodologie. "Zoeken naar bestandsnamen zal gegarandeerd geavanceerde aanvallen en de meeste andere malware missen, " vertelde Abrams aan Security Watch, commentaar op de middelen die Imperva gebruikte om malware voor het onderzoek te lokaliseren. "Als je je concentreert op Russische forums, wordt de monsterverzameling aanzienlijk beïnvloed. Het is duidelijk dat er niet is nagedacht over het verkrijgen van een realistische, representatieve set monsters."

Methodologische problemen

Om hun onderzoek uit te voeren, gebruikte Imperva de online tool VirusTotal om hun tests uit te voeren, die werd aangehaald als een kritieke zwakte van de test. "Het probleem met deze test is dat het bedreigingen heeft geript in de vorm van uitvoerbare bestanden en deze vervolgens heeft gescand met VirusTotal, " zei Simon Edwards van Dennis Labs. "VT is geen geschikt systeem om te gebruiken bij het evalueren van anti-malwareproducten, voornamelijk omdat de scanners die in VT worden gebruikt niet worden ondersteund door aanvullende technologie zoals webreputatiesystemen."

Kaspersky Labs, wiens product in de studie werd gebruikt, stelde ook vraagtekens bij de testmethode die Imperva in het experiment gebruikte. "Bij het scannen op potentieel gevaarlijke bestanden gebruikt de VirusTotal-service die wordt gebruikt door de specialisten van Imperva niet de volledige versie van antivirusproducten, maar vertrouwt alleen op een zelfstandige scanner", schreef Kaspersky Labs in een verklaring aan Security Watch.

"Deze aanpak betekent dat de meeste beveiligingstechnologieën die beschikbaar zijn in moderne antivirussoftware eenvoudig worden genegeerd. Dit heeft ook invloed op proactieve technologieën die zijn ontworpen om nieuwe, onbekende bedreigingen te detecteren."

Opvallend is dat een deel van de website van VirusTotal iedereen ontmoedigt om hun service te gebruiken voor antivirusanalyse. Het 'Over'-gedeelte van het bedrijf luidt:' We zijn het zat om te herhalen dat de service niet is ontworpen als hulpmiddel voor het uitvoeren van vergelijkende antivirusanalyses Degenen die VirusTotal gebruiken om vergelijkende antivirusanalyses uit te voeren, moeten weten dat ze veel impliciete fouten in hun methodologie maken."

Abrams nam ook een vage kijk op het gebruik van VirusTotal om het onderzoek uit te voeren, en zei dat de tool kan worden gebruikt om de resultaten naar de door testers gewenste resultaten te schuiven. "Competente, ervaren testers weten beter dan VirusTotal te gebruiken om de beveiligingsmogelijkheden van iets anders dan een pure command line scanner te beoordelen, " zei hij.

Imperva verdedigde het gebruik van VirusTotal in hun onderzoek. "De essentie van het rapport is geen vergelijking van antivirusproducten", schrijft Imperva. "Het doel is veeleer het meten van de effectiviteit van een enkele antivirusoplossing en van gecombineerde antivirusoplossingen met een willekeurige set malwarevoorbeelden."

Hoewel de experts met wie we spraken, het erover eens waren dat zero-day kwetsbaarheden en nieuw gecreëerde malware een probleem vormen, ondersteunden geen van de beweringen van Imperva over timing of lage detectiepercentages. "De laagste beschermingspercentages tijdens een 'real-world' zero-day test zijn 64-69 procent, " vertelde Marx aan Security Watch. "Gemiddeld zagen we een beschermingspercentage van 88-90 procent voor alle geteste producten, dit betekent dat 9 van de 10 aanvallen met succes worden geblokkeerd, slechts 1 daadwerkelijk een infectie veroorzaakt."

Een andere belangrijke conclusie van het Imperva-rapport was dat anti-malwaresoftware goed wordt begrepen door malwaremakers, die hun creaties aanpassen om beveiligingssystemen te ondermijnen. "Aanvallers begrijpen antivirusproducten diepgaand, raken vertrouwd met hun zwakke punten, identificeren de sterke punten van antivirusproducten en begrijpen hun methoden voor het omgaan met de hoge incidentie van nieuwe virusverspreiding op internet", schrijft Imperva in de studie.

De studie gaat verder, "varianten met een beperkte distributie (zoals door de overheid gesponsorde aanvallen) laten meestal een grote kans."

Stuxnet zit niet achter je aan

"De malware-mannen zijn echt stoer, ze zijn sterk en intelligent, " zei Stelzhammer. "Een gerichte aanval is altijd gevaarlijk." Maar hij en anderen benadrukten dat gerichte aanvallen waarbij de malware specifiek op anti-malware is afgestemd even zeldzaam als gevaarlijk is.

De inspanning en informatie die nodig is om een ​​stukje malware te maken om elke beschermingslaag te verslaan, is geweldig. "Zo'n test vereist veel tijd en vaardigheden, dus ze zijn niet goedkoop", schreef Marx. "Maar dat is de reden waarom ze 'gericht' worden genoemd."

Op dit punt grapte Abrams: "Eerlijk gezegd maak ik me echt niet druk om Stuxnet in mijn computer te krijgen en een uraniumverrijkende centrifuge aan te vallen bij mij thuis of op kantoor."

Bijna iedereen met wie we spraken, was het er in principe mee eens dat gratis anti-malware-oplossingen gebruikers de moeite waard konden beschermen. De meesten waren het er echter niet mee eens dat het een haalbare optie was voor zakelijke klanten. Stelzhammer wijst erop dat, zelfs als zakelijke gebruikers gratis software wilden gebruiken, de licentieovereenkomsten dit soms verhinderen.

"Het gaat niet alleen om detectie", zei Stelzhammer in een interview met Security Watch. "Het gaat om administratie, het gaat om het uitrollen naar de klanten, het gaat om overzicht. Dit krijg je niet met een gratis product."

Een geïnformeerde gebruiker thuis, vervolgde Stelzhammer, zou lagen gratis software kunnen gebruiken om bescherming te bieden die vergelijkbaar is met betaalde software, maar ten koste van eenvoud. "Hij kan een goed beschermd systeem regelen met gratis software, maar het grootste voordeel van betaalde software is gemak."

Edwards van Dennis Labs was het echter niet eens met de gunstige vergelijking met gratis software. "Dit druist in tegen al onze bevindingen gedurende vele jaren van testen, " zei Edwards. "Bijna zonder uitzondering worden de beste producten betaald." Deze bevindingen zijn vergelijkbaar met het testen van anti-malware software door PC Magazine.

Sinds de publicatie van de studie vorige maand, heeft Imperva een blogpost geschreven die hun positie verdedigt. Sprekend met Security Watch zei Imperva-directeur van beveiligingsstrategie Rob Rachwald: "Elke kritiek op onze methodologie mist de realiteit die we vandaag zien." Hij ging verder met te zeggen dat de meeste datalekken het gevolg zijn van malware-indringing, die het bedrijf ziet als bewijs dat het huidige antimalwaremodel gewoon niet werkt.

Hoewel de conclusies van Imperva misschien inherent zijn, heeft geen van de experts met wie we spraken het onderzoek positief beoordeeld. "Normaal gesproken waarschuw ik tegen door de leverancier gesponsorde tests, maar als deze test door een onafhankelijke organisatie was uitgevoerd, zou ik tegen de organisatie zelf waarschuwen", schreef Abrams van NSS Labs. "Het komt zelden voor dat ik zo'n ongelooflijk ongecompliceerde methodiek, onjuiste criteria voor monsterverzameling en niet-ondersteunde conclusies tegenkom in een enkele PDF."

Volg hem op Twitter @wmaxeddy voor meer informatie van Max.