Liquid AI lanserer nye beslutningsmodeller: Svarer på 8 millisekunder

Liquid AI har lansert Open d1, en familie av AI-modeller spesielt utviklet for å gi raske, konkrete svar uten å skrive ut tekst. I stedet for å generere fritekst, noe som er tidkrevende, returnerer disse såkalte beslutningsmodellene (decision models) kalibrerte svar i ett pass. Flaggskipmodellen d1-3B behandler tekst og bilder, og kan svare på ett spørsmål på 8 millisekunder på et RTX 4090-grafikkort, sammenlignet med de 16 millisekundene uten optimalisering. Dette gjør den egnet for sanntidsapplikasjoner som moderering og visuell inspeksjon. d1-3B har 3,12 milliarder parametere, noe som er relativt lite for en modell med slike evner, og den oppnådde en score på 48,57 på Decision Index v0.2.1-benchmarken, som er best blant modeller under 10 milliarder parametere. For norske virksomheter betyr dette at AI kan brukes mer effektivt i prosesser som krever umiddelbare svar, som kundeservice-ruting, hvor den raskt kan kategorisere henvendelser eller vurdere refusjonsforespørsler. Den mindre modellen, d1-omni-600M med 587 millioner parametere, tar også imot lyd og kan brukes til talekommando-ruting på små enheter. Begge modellene er tilgjengelige under en fri kommersiell lisens for selskaper med mindre enn 10 millioner dollar i årlig omsetning, og kan kjøres lokalt på maskinvare som NVIDIAs Jetson-serie. Modellene er "open-weight", som betyr at modellvektene er offentlig tilgjengelige, slik at brukere kan laste ned og kjøre dem selv. De er bygget på eksisterende vision-language og encoder-modeller, og finjustert med ulike datasett. Selv om Liquid AI selv kjørte benchmark-testene, viser resultatene en sterk ytelse, spesielt innen verktøy- og kunst-kategorier.