Ny markedsplass auksjonerer sanntidspriser for LLM-bruk

Architect Financial Technologies, et selskap med bakgrunn fra finansielle børser, lanserer Liquid Inference. Dette er en LLM-ruter som fungerer som en markedsplass der leverandører byr på å levere inferens – altså å behandle en forespørsel med en AI-modell. Systemet kjører en sanntidsauksjon for hver eneste forespørsel, og kunden betaler det laveste budet som oppfyller deres krav. Dette gir kunder muligheten til å sette tak på makspris, krav til responstid og datalagring, og til og med spesifikke regioner for databehandling, noe som er uvanlig detaljert for LLM-API-er. For bedrifter betyr dette lavere kostnader for AI-tjenester og bedre kontroll over dataflyten. Ved å utnytte sin erfaring med å bygge finansmarkeder, har Architect skapt det de kaller "tosidig prisoppdagelse" for inferens. Dette skiller seg fra eksisterende løsninger som OpenRouter, som bruker prisvektet lastbalansering, eller Hugging Face, som standardmessig velger den raskeste leverandøren. De første 500 brukerne får 20 dollar i gratis bruk, ifølge selskapet.