Fireworks API dobler treningsiterasjoner for AI-modeller

Fireworks.ai har lansert et nytt API for AI-trening, som skal gi utviklere mer kontroll og effektivitet når de bygger og finjusterer spesialiserte store språkmodeller (LLM-er). Flere tidlige brukere rapporterer om en fordobling til firedobling av treningsiterasjoner med samme budsjett, noe som effektiviserer modellutviklingen. Det nye API-et kobler utvikleres tilpassede treningslooper til Fireworks sin distribuerte trenings- og utrullingsinfrastruktur. Dette lar team fokusere på å finjustere læringssignalet i modellene, snarere enn å håndtere infrastrukturutfordringer. Resultatet er en kontinuerlig utviklingssyklus med raskere overgang fra trening til utrulling og evaluering. API-et tilbyr to moduser: «Serverless» for rask eksperimentering med finjustering av modellvekter (LoRA-adaptere) på delt infrastruktur, og «Dedicated» for fullparametre-trening og større modeller med dedikert kapasitet. Dette gir fleksibilitet tilpasset ulike behov for kontroll og skala. Eksempelvis har Figma brukt løsningen til å øke eksperimentasjonsfarten, mens Heidi Health kuttet utviklingstiden for en klinisk skrive-AI fra prototype til produksjon på fire uker. Selskapet fremhever også at plattformen sikrer numerisk nøyaktighet og effektivitet i prosesser som forsterkningslæring (RL). Dette oppnås blant annet ved å matche numeriske formater og kjerner mellom trening og inferens, samt optimalisere gjennomstrømning for å maksimere GPU-utnyttelse. Systemet benytter også teknikker som «hot-loading» av modellvekter for å redusere overføringstid, noe som kan redusere overføringsbåndbredden med opptil ti ganger. Fireworks Labs tilbyr ekspertstøtte for bedrifter som ønsker å implementere løsningen. Dette inkluderer veiledning for å definere målkriterier, designe treningslooper og optimalisere datasett, med mål om å levere produksjonsklare modeller raskere.