Vals henter 40 millioner dollar for å teste AI-modeller i praksis

Den amerikanske startupen Vals, grunnlagt i 2024, har nylig sikret seg 40 millioner dollar, tilsvarende rundt 430 millioner norske kroner, i en Serie A-runde ledet av Andreessen Horowitz. Selskapet spesialiserer seg på å evaluere AI-modeller, og mener dagens testmetoder ikke holder tritt med den raske utviklingen av nye modeller. Vals skiller seg fra mange tradisjonelle benchmark-systemer, som ofte tester modeller med offentlig tilgjengelige spørsmål. Deres metode er å teste modellene mot komplekse oppgaver innen spesifikke bransjer som juss, finans og koding, uten å avsløre testmaterialet på forhånd. Dette skal forhindre at modeller målrettet trenes for å bestå testene, et fenomen kjent som "teaching to the test". I stedet for å spørre «Kan modellen mye informasjon?», spør Vals «Kan modellen produsere et produkt av samme kvalitet som et menneske i et gitt domene?». Selskapets medgründer, Rayan Krishnan, understreker at de ser på de reelle effektene av modellene, både positive og negative, for å avdekke uventede konsekvenser om de skulle «løpe løpsk». For en norsk virksomhet betyr dette at de kan få en uavhengig vurdering av hvor godt en AI-modell faktisk presterer i relevante arbeidsoppgaver, og dermed bedre vurdere nytteverdien. Vals rapporterer en åttedobling i omsetning det siste året og har økt staben fra 8 til 25 ansatte. Denne veksten reflekterer et økende behov i markedet for pålitelige metoder for å vurdere AI-modellers kapasitet. Selskapet ser for seg en fremtid der slike evalueringer blir avgjørende når AI-selskaper går på børs, og investorer og myndigheter krever objektive bevis på modellens ytelse og sikkerhet.