LLM-er sluker 100 000 ganger mer språk enn mennesker

Til tross for dagens avanserte AI-modeller, skiller én fundamental egenskap mennesket fortsatt fra maskinen: et barns evne til å lære språk. Store språkmodeller (LLM-er) som GPT og Claude krever opptil hundre tusen ganger mer data enn et menneske for å mestre et språk flytende. Denne «dataeffektivitetsgapet», som forskere kaller det, er ikke bare et akademisk spørsmål. Allerede i 2030 kan tilgangen på treningsdata fra internett bli en flaskehals. Ved å forstå hvordan barn lærer, håper forskerne å kunne bygge mer datagjerrige AI-modeller. Dette kan bidra til mer effektiv AI-trening, for eksempel for video, og utvikling av chatbots for minoritetsspråk. En ny konkurranse, BabyLM, utfordrer forskere til å trene språkmodeller på små datasett. Målet er å simulere et «utviklingsmessig plausibelt» språkmiljø, som for eksempel et barn med et ordforråd på 10 millioner ord. Resultatene evalueres med samme grammatikk-tester som brukes på mennesker, og måler blant annet «surprisal» — modellens usannsynlighetsvurdering av en setning.