Robot lærer nye oppgaver på sekunder: 59 % suksess med én demo

Et team ved Generalist AI har utviklet GEN-1.5, en ny generativ modell for roboter som lærer fysiske oppgaver fra én kort demonstrasjon. Modellen klarer en suksessrate på 59 prosent basert på 3–12 sekunders input, uten ytterligere finjustering eller omlæring. Denne tilnærmingen, der modellen tolker en "fysisk ledetekst" – som en person som viser oppgaven med gripeverktøy – skiller seg fra konvensjonell robot-trening. Vanligvis krever nye oppgaver omfattende datasett og gjentatt optimalisering. GEN-1.5 bruker en multimodal tilnærming, der den behandler video-, sensor- og språkdata, og opprettholder 30 sekunders kontekst. Modellen demonstrerte også evnen til å generalisere og kombinere ferdigheter. Den kunne sette sammen to separate demonstrasjoner, for eksempel å åpne en penal og hente penger, til en sømløs sekvens. Selv uten simulert data i forkant, kunne en demonstrasjon fra en simulering brukes til å styre en fysisk robot. Dette peker mot en fremtid der brukere viser roboter hva de vil, istedenfor å programmere detaljerte instruksjoner.