NVIDIA utvikler sanntids generativ verdensmodell for autonome kjøretøy

NVIDIA har utviklet OmniDreams, en generativ verdensmodell som bidrar til avansert simulering for autonome kjøretøy. Dette systemet er designet for å takle utfordringene med å evaluere selvkjørende systemer under sjeldne eller uforutsigbare hendelser, som er vanskelig å teste med tradisjonelle metoder. OmniDreams operer i sanntid og skaper handlingsstyrte videoer som reflekterer bilens interaksjon med omgivelsene. Modellen er basert på NVIDIAs Cosmos diffusjonsmodell og er trent på over 21 000 timer med kjøredata. Denne omfattende treningen gjør det mulig for OmniDreams å syntetisere alt fra ekstreme værforhold til komplekse, dynamiske hendelser som er uvanlige i virkelige opptak. Systemet tar hensyn til tidligere bilder, bilens nåværende status og umiddelbare kjørehandlinger for å generere fotorealistiske sensorobservasjoner. Integrert i et system sammen med NVIDIAs Alpamayo 1 policy-modell og AlpaSim orkestrator, fungerer OmniDreams som et reaktivt miljø. Dette gir en skalerbar løsning for testing og trening av autonome kjøretøyalgoritmer. Foreløpige resultater viser også at en verdens-handlingsmodell (WAM) trent med OmniDreams leverer god ytelse på relevante datasett, og overgår eksisterende forskningsmodeller med færre parametere. Dette indikerer at OmniDreams i tillegg kan fungere som et grunnlag for fremtidige styringsarkitekturer i autonome systemer.