Sikkerhet1. august 2026
Ny standard for dybdeanalyse av deepfake-deteksjon
Av redaksjonen
Forskere lanserer et nytt verktøy som avdekker betydelige svakheter i hvordan ulike metoder for å oppdage deepfakes presterer i reelle scenarier, til tross for gode resultater i tradisjonelle tester.
En ny benchmark, VendorBench-100, avslører at mange systemer for deepfake-deteksjon, spesielt de som baserer seg på store syns-språkmodeller (vision-language models), kan være miskalibrerte. Det betyr at selv om modellene rangerer falske bilder godt i tester som , vil de i praksis stemple mange ekte bilder som falske når de brukes med standardinnstillinger.
VendorBench-100 er utviklet for å sammenligne kommersielle API-er, open source-detektorer og vision LLM-er på like vilkår. Testen bruker et felles, fiendtlig datasett av 100 bilder, som er valgt ut for å representere åtte utfordrende «edge-case»-kategorier. Disse inkluderer alt fra ansiktsbytter til AI-redigerte bilder og bilder med uklar opprinnelse.
Studien viser at kommersielle API-er generelt presterer best. Selv om enkelte open source-modeller kan konkurrere med de beste LLM-ene, er det den brede feilkalibreringen som er mest bekymringsfull. Den peker på et problem med at mange modeller overvurderes i enkle tester, mens deres evne til reell bruk er dårligere. For å sikre pålitelige resultater anbefaler forskerne å alltid bruke måleenheten og spesifisitet i tillegg til mer vanlige metoder som ROC-AUC og nøyaktighet.