LLM-er effektiviserer fagfellevurdering og litteratursøk

Den økende mengden vitenskapelig litteratur gjør det stadig mer utfordrende å finne relevante publikasjoner, selv for erfarne forskere. Tradisjonelle søkesystemer krever ofte nøyaktig formulerte spørsmål og manuell gjennomgang, noe som er tidkrevende. En ny analyse publisert på arXiv belyser hvordan generativere store språkmodeller (LLM-er) kan tilby mer fleksible metoder for litteraturgjennomgang og seleksjon. Studien kartlegger 34 fagfellevurderte artikler som bruker generative LLM-er til disse oppgavene. Ved å analysere metoder for litteraturhenting og screening av kandidatstudier mot kvalifiseringskriterier, tegnes et bilde av hvordan LLM-er effektiviserer prosessen. Det pekes på at LLM-er kan redusere den manuelle innsatsen betydelig, noe som har stor relevans for forskere innenfor alle disipliner. Forskningen karakteriserer de undersøkte studiene basert på hvilke LLM-er som ble brukt, tilgang til modellene og tilpasninger, samt teknikker for prompter og arkitektur. Videre vurderes kilder for 'ground-truth' data og metrikker for evaluering av modellens ytelse. Dette gir et detaljert innblikk i dagens praksis og fremtidige muligheter for AI-støttet litteraturarbeid. Funnene antyder at LLM-er kan forbedre presisjonen og hastigheten i identifiseringen av relevant forskning, samtidig som de reduserer byrden ved manuell vurdering. Dette representerer et paradigmeskifte innen vitenskapelig kunnskapsinnhenting, fra ren søking til mer interaktive og intelligente systemer som kan tolke og sammenfatte informasjon. En bredere adopsjon av slike verktøy kan akselerere forskningsprosesser og bidra til raskere vitenskapelig fremgang.