Produkt6. august 2026
«Kanarifugl-verktøy» avslører svakheter i AI-modellers verktøyvalg
Av redaksjonen
Ny forskning introduserer «kanarifugl-verktøy» for å diagnostisere hvorfor AI-modeller feilaktig velger feil verktøy, og avdekker store forskjeller mellom modeller og overraskende funn om sikkerhet.
Nye «kanarifugl-verktøy» kan identifisere presist hvorfor AI-modeller velger feil verktøy, ifølge en fersk preprint. Ved å plante spesialdesignede probe-verktøy, såkalte , i modellens verktøysett, kan forskere nå se forbi det å kun vite at en modell feilet – de forstår nå hvorfor.
Forskere har definert seks typer verktøyvalgs-svakheter, som semantiske feller og kapasitetsillusjoner. Testresultater fra åtte ulike AI-modeller viser at sårbarheten for slike feller varierer enormt, opptil 36 ganger mellom modellene. Den mest kapable modellen, Claude Opus 4.8, var minst sårbar, mens Llama 3.1 8B var mest.
Et viktig funn er at modellens generelle kapasitet alene ikke forutsier dens «sikkerhet» i verktøyvalg. En mellomstor modell viste seg å være den mest sårbare blant de hostede modellene. Videre kan en billigere modell fra samme leverandør være tryggere enn en dyrere. Denne differensierte diagnostikken gir innsikt utover en enkel suksessrate, og bidrar til mer robust utvikling av .