Številni varnostni apartmaji izboljšajo zaščito v resničnem testu

Raziskovalci avstralske družbe AV-Comparatives iz Innsbrucka se neumorno trudijo, da bi preizkušali zaščitno moč varnostnih paketov na način, ki je čim bolj podoben uporabnikovi izkušnji. Vsak dan so podvrgli skoraj dvajset paketov dejanskim napadom zlonamerne programske opreme in z uporabo avtomatiziranega sistema zabeležili, kako dober je izdelek na preizkusu. V zadnjih šestih mesecih so prestali več kot 3000 testnih primerov. Rezultati polletja so že doseženi in od zadnjega takega poročila se je izboljšalo veliko izdelkov.

Pomen velikosti vzorca

Intuitivno je očitno, da bo takšen test dobil natančnejše rezultate z večjim naborom vzorcev, vendar je tokrat okoli AV-Comparatives jasno razložil posledice premajhnega nabora vzorcev. V preprosto ločeno poročilo so navedeni statistični podatki in nekoliko so presenetljivi.

Predpostavimo, da je določen izdelek odkril 80 odstotkov od nabora 10.000 vzorcev zlonamerne programske opreme. Predpostavimo, da iz iste zbirke naključno izberete samo deset vzorcev. Z uporabo grafikona vseh možnih rezultatov poročilo kaže, da so doseganje enake stopnje odkrivanja, višje stopnje odkrivanja ali nižje stopnje odkrivanja skoraj enako verjetno. Da, zmanjšanje na deset vzorcev je skrajni primer, vendar zagotovo pokaže smisel.

Metode preskušanja

Z uporabo samodejnih in ročnih metod iskanja raziskovalna skupina vsak dan zbira zlonamerne URL-je v resničnem svetu. Posebej izberejo kombinacijo neposrednih povezav do datotek zlonamerne programske opreme in spletnih mest za prenos. Vsak dan po vzorcih vsakega dne izpostavijo vse izdelke na določenem URL-ju hkrati in opazujejo, kako vsak izdelek reagira. Če katera koli komponenta paketa prepreči zlonamerno programsko opremo, je to uspeh. Če zlonamerna programska oprema zdrsne mimo in vzpostavi vodenje gospodinjstev, je to napaka.

Včasih se bo v svežju pojavilo obvestilo, da je bilo nekaj najdenega, in uporabnika vprašal, ali naj ga blokira ali dovoli. Za namene testiranja se analitiki AV-Primerjalcev vedno odločijo, da dovolijo ukrepanje. Izdelek, ki kljub temu ukrepu uspešno brani sistem, dobi celoten zaslužek; izdelek, ki omogoča ogrožanje sistema zaradi napačne izbire s strani uporabnika, dobi polovično dobro.

Ko je določen preskusni primer končan, se vsi preskusni sistemi ponovno slikajo v stanje pred zlonamerno programsko opremo, pripravljeni za naslednji test.

Lažni pozitivi

Lažno pozitiven rezultat se pojavi, ko varnostna programska oprema napačno blokira dostop do zakonite datoteke ali spletnega mesta. Očitno ne želite, da vaš varnostni paket izbriše veljavne datoteke ali vas ne zavaruje pred neškodljivimi spletnimi mesti. AV-Comparatives je vsak izdelek preizkusil s približno tisoč naključno izbranimi domenami in približno sto novimi in priljubljenimi programi. Za namene testiranja so vsak program prenesli s spletnega mesta razvijalca, ne s portala za prenos.

Poročilo ugotavlja, da bodo statistične varnostne analize in varnostne analize pogosto blokirale ali opozarjale na povsem nove programe in spletna mesta. "Čeprav takšne tehnike zaščite… pomagajo doseči visoke rezultate… lahko to privede tudi do odkrivanja / blokiranja nedolžnih / čistih datotek in URL-jev samo zato, ker so… preveč novi." Norton, močan zagovornik tovrstnega zaznavanja, ne sodeluje pri testiranju AV-primerjal.

Veliko izboljšav

Več kot polovica izdelkov, vključenih v trenutno poročilo, je dosegla boljše rezultate kot v prejšnji izdaji tega poročila. Vipre, McAfee in Fortinet so se zadnjič odrezali, niti zaslužili STANDARD, najnižjo oceno. Fortinet in McAfee sta tokrat ocenila ADVANCED in Vipre se je uvrstila na STANDARD. Vsi trije so znižali oceno zaradi lažnih pozitivnih rezultatov; ki temeljijo samo na odkrivanju, bi McAfee in Fortinet ocenili ADVANCED +, najvišjo oceno.

eScan je skočil s STANDARDA na ADVANCED +, medtem ko avast!, ESET in Trend Micro prešli iz ADVANCED v ADVANCED +. Nekaj ​​drugih, ki so prej ocenjevali STANDARD, je tokrat upravljalo oceno DODATNO.

Bitdefender redno pridobiva najboljše rezultate na neodvisnih laboratorijskih testih. Samo na podlagi odkrivanja zlonamerne programske opreme bi ocenil ADVANCED +, kot je bil to že zadnjič, vendar so lažni pozitivni rezultati padli na ADVANCED. Enako se je zgodilo s F-Secure in BullGuard.

Dinamični test izdelka AV-Comparatives je med najbolj delovno intenzivnimi testi, s katerimi sem se srečal. Torej ne preseneča, da se laboratorij opira na podporo univerze v Innsbrucku in avstrijske vlade. Dela je veliko, končni rezultat pa je test, ki zelo natančno približa, kako dobro bo izdelek zaščitil uporabnike v resničnem svetu.