Perplexity AI lanserer nye modeller: 9B-modell når 92,4% på PDF-spørsmål

Perplexity AI introduserer pplx-embed-v2-late, en familie av AI-modeller som er spesialisert på å søke og hente informasjon fra både tekst og visuelle dokumenter som PDF-filer. Den største modellen, på 9 milliarder parametere, oppnådde en imponerende nøyaktighet på 92,4 prosent på benchmarken MADQA, som tester AI-systemers evne til å svare på spørsmål basert på PDF-dokumenter. Dette resultatet er betydelig, da det plasserer Perplexity sin 9B-modell på topp blant testede modeller i sin kategori, kun slått av mer komplekse agentbaserte løsninger. Modellen behandler PDF-sider som bilder, noe som eliminerer behovet for optisk tegngjenkjenning (OCR) og kan effektivisere søk i scannede dokumenter og presentasjoner. Den andre modellen i familien er en lettvektsversjon på 0,6 milliarder parametere, designet for å kjøre effektivt på mindre enheter som bærbare PC-er eller mobiltelefoner – kjent som «edge devices». Selv om den er mindre, kan den effektivt brukes til å spørre et indeks bygget med den større 9B-modellen, noe som gir en god balanse mellom kvalitet og ressursbruk. Dette betyr at en norsk bedrift kan indeksere store mengder dokumenter i skyen, men søke lokalt på en ansatts maskin uten å sende sensitiv data ut. Begge modellene bruker en ColBERT-stil arkitektur, hvor hver token i teksten får sin egen vektorrepresentasjon, i motsetning til tradisjonelle modeller som komprimerer hele dokumentet til én enkelt vektor. Dette bidrar til mer presise søkeresultater. De er tilgjengelige under en MIT-lisens, noe som tillater kommersiell bruk, men Perplexity har selv rapportert resultatene, og en teknisk rapport er ennå ikke publisert.