Microsoft v antivirusnem testu prekaša symantec

V zadnjem testu na zahtevo AV-Comparatives je kar nekaj izdelkov izgubilo točke zaradi lažnih pozitivnih rezultatov - napačno identificira veljaven program kot zlonamerno programsko opremo. Symantec in Microsoft sta dosegla približno enako vrednost na podlagi odkrivanja vzorcev zlonamerne programske opreme, vendar je Symantec izgubil točke zaradi lažnih pozitivnih rezultatov. K zgodbi je več.

Skeniranje na zahtevo

Skeniranje na zahtevo vsak preizkušeni izdelek izpostavi zbirki "vzorcev iz zadnjih tednov / mesecev, ki so / so bili udarci uporabnikov na terenu". Vzorci se nadalje analizirajo za razvrščanje podobnih datotek in zmanjšanje velikosti nabora vzorca, tako da "je vsaka zamuda namenjena predstavljanju ene zgrešene skupine." Ta posebni test uporablja 136.610 nedavnih vzorcev. Začetni rezultat izdelka je odstotek odkritih vzorcev.

Presenetljivo je, da je Symantec Norton AntiVirus pokazal najnižjo stopnjo odkrivanja (preden je razmislil o lažnih pozitivnih rezultatih), z 91, 2-odstotno odkritje. Microsoft Security Essentials se je dvignil višje in zaznal 92 odstotkov vzorcev. Z 99, 9-odstotno prepoznavnostjo je G Data AntiVirus na prvem mestu. Več drugim je uspelo bolje kot 99 odstotkov.

Lažni pozitivi

Raziskovalci AV-Comparatives uporabljajo tehniko grozda, da identificirajo mejne meje, ki ločujejo ADVANCED + (najvišjo oceno) od ADVANCED in ADVANCED od STANDARDA. To je izhodišče, vendar bo izdelek z veliko (16 do 50) lažnih pozitivnih rezultatov izgubil eno oceno, eden z zelo veliko (51 do 100) pa dva. Ne glede na to, kakšna je njegova prvotna ocena, če izdelek prikaže »noro veliko« (več kot 100) lažnih pozitivnih rezultatov, bo vedno prejel oceno ne-pasovnosti TESTED.

Devet od dvajset preizkušenih izdelkov je izgubilo eno oceno zaradi številnih lažnih pozitivnih rezultatov. Vsaj nobeden od njih ni imel zelo veliko ali "noro veliko" FP-jev. Norton, začenši z oceno STANDARD, se je potonil do TESTEDA, prav tako AhnLab. V krogu zmagovalcev z oceno ADVANCED + najdemo Avira, Bitdefender, BullGuard, F-Secure in Kaspersky. Kliknite tukaj za ogled celotnega poročila.

Upoštevajte, da Microsofta v oddelku za nagrade ne boste našli. Sprva sem mislil, da gre za nadzor, vendar me je ustanovitelj AV-Comparatives Peter Stelzhammer postavil naravnost. "Odločili smo se, da Microsofta v oddelku za nagrade ne bomo več navajali (in pri nadaljnjih preskusih), " je pojasnil Stelzhammer, "saj je njihova zaščita zunaj pošte v Windows privzeto omogočena." Podobno se je AV-Test odločil, da bo Microsoftov rezultat obravnaval kot minimalno izhodišče.

Uteženi lažni pozitivi

Symantec že leta trdi, da preprosto štetje lažnih pozitivnih rezultatov ni koristno. Raziskovalci Symanteca priporočajo, da vsak lažno pozitiven test vključuje ponderiranje glede na razširjenost zadevne datoteke. Trdijo, da njihov sistem analize Norton Insight izključuje možnost lažne pozitivnosti v nobeni datoteki, razen tistih z nizko razširjenostjo. Sekundarni dokument AV-Comparatives kaže, da so morda prav.

V dodatku False Positive k poročilu na zahtevo je navedena vsaka posamezna datoteka, ki je vsak izdelek napačno zaznala kot zlonamerno programsko opremo, skupaj z uporabljenim imenom zlonamerne programske opreme in oceno razširjenosti. Identificirali so pet stopenj, od "verjetno manj kot sto uporabnikov" do "verjetno nekaj sto tisoč (ali milijonov)."

Samo za prikaz izberem reprezentativno število uporabnikov na vsaki ravni, 50 uporabnikov za prvo raven in desetkrat večje za vsako višjo raven, s 500.000 uporabniki najbolj razširjenih programov. Nato sem izračunala število uporabnikov, na katere bi lahko vplivali lažni pozitivni rezultati vsakega izdelka. Rezultati, prikazani v spodnjem tabeli, mi kažejo, da bi morali AV-primerjalci razmisliti o uporabi podobnega ponderiranega izračuna FP.

V tem grafikonu so izdelki, ki so izgubili oceno zaradi lažnih pozitivnih rezultatov, prikazani s krepko poševno pisavo. Moj tehtani izračun lahko Norton FP vpliva na 13.750 uporabnikov. Več izdelkov, ki se niso zmanjšali glede na število FP, je dejansko imelo večji učinek kot Symantec, vključno z zmagovalcema Kaspersky in F-Secure.

Emsisoft je imel skupno največ lažno pozitivnih rezultatov, od tega 38. Grozno, kajne? Toda nobena ni bila od dveh najvišjih stopenj razširjenosti, zato je njen teoretični učinek manjši od učinka Sophosa, ki ima skupaj 6 FP, ali ESET z 9 FP.

McAfee si je v osnovnem testu na zahtevo prislužil oceno ADVANCED. S 15 lažno pozitivnimi rezultati je le malo manjkajoče številke, zaradi katere bi izgubila oceno. Kljub temu je moj izračunan izračun morda vplival na dobrih dvesto tisoč uporabnikov, kar je skoraj 16-krat toliko kot Norton.

To niso številke v resničnem svetu, ampak samo miselni eksperiment, ki vam bo pomagal razumeti, kaj pomeni uporaba razširjenosti pri merjenju lažnih pozitivnih rezultatov. Potem ko bom opravil to vajo, upam, da bodo AV-primerjalci našli način, kako dejavno razširiti svoje lažne pozitivne teste. Samo naštevanje številk očitno ni dovolj.