Kjører gigantisk AI-modell lokalt på Mac Studio

For å unngå å laste opp personlige data til skytjenester, har en journalist installert kraftige AI-modeller lokalt på sin Mac Studio. Han tester en 125-milliarders parameter modell, Qwen 3.8 Flash Next, som alene er rundt 105 GB stor, for å se hva den kan utrette. Journalisten bruker Hermes Agent, en selvhostet AI-agentapplikasjon som kjører på datamaskinen. Med 256 GB RAM i sin M5 Ultra Mac Studio, kan han kjøre modeller som ellers ville krevd kostbar skytjeneste. Dette gir friheten til å eksperimentere uten å bekymre seg for kostnader per token – en betaling per ord eller del av ord som modellen behandler – og håndtere data som finansielle opplysninger eller konfidensielle produktspesifikasjoner uten å sende dem eksternt. Blant oppgavene modellen har fått er å organisere journalistens spillbibliotek og analysere finansielle poster, i tillegg til å lage daglige briefinger fra e-post og kalender. Han måtte gi AI-en tillatelser, som en Steam web API-nøkkel for spillorganisering, men kunne enkelt trekke den tilbake etter bruk. Et annet prosjekt er å automatisere tidkrevende benchmarking av laptoper. Til tross for kraften er det tydelig at selv lokale modeller ikke er feilfrie; daglige briefinger har brutt sammen flere ganger, noe som viser at teknologien fortsatt krever innsats og feilsøking.