NVIDIAs AI styrer robothånd med realistisk tommelgrep

NVIDIA IsaacTeleop, et nytt rammeverk, lar operatører fjernstyre roboter ved hjelp av håndbevegelser eller VR-kontrollere. Dette muliggjøres av en «retargeting engine» som omdanner inndata til nøyaktige instruksjoner for robotene, for eksempel for å utføre et pinsettgrep. En sentral komponent i systemet er en spesiallaget algoritme kalt PinchRetargeter. Den måler avstanden mellom tommel- og pekefingertuppen i sanntid. Dersom avstanden faller under en forhåndsdefinert terskel – som kan justeres live under operasjonen – tolker den bevegelsen som et gripeforsøk. Dette gjør roboten i stand til å utføre finmotoriske oppgaver som krever presisjon. Systemet kan altså ikke bare registrere en generell håndbevegelse, men også dens finere nyanser, som hvor langt fingrene er fra hverandre. Dette gjør det mulig å styre for eksempel en robotgriper til å klype forsiktig eller gripe hardt, avhengig av operatørens intensjon. Tidligere versjoner eller enklere systemer kan slite med slike detaljer, noe som begrenser robotens funksjonalitet i komplekse manuelle oppgaver. IsaacTeleop gir dermed mer intuitiv og nøyaktig kontroll, og kan redusere behovet for manuelt programmering av komplekse bevegelsessekvenser. Kjernen i løsningen er et robust typesystem som håndterer ulike datastrømmer fra sensorer og kontroller, og sikrer at all data valideres før den brukes. Dette bidrar til påliteligheten i systemet, noe som er avgjørende når roboter skal utføre oppgaver i krevende miljøer. Resultatet er en mer sømløs overgang fra menneskelig intensjon til robothandling, som kan spare tid og øke effektiviteten i alt fra produksjon til logistikk.