CORS Chat gjør testing av LLM-er enklere lokalt
Av AIWatch
Et nytt verktøy lar utviklere chatte direkte med lokale AI-modeller i nettleseren. Dette strømlinjeformer testing og interaksjon med språkmodeller på egen maskin.
Utvikler Simon Willison har lansert " Chat", et nettleserbasert verktøy som lar brukere kommunisere direkte med AI-modeller som kjører lokalt. Verktøyet er designet for å teste språkmodeller (LLM-er) som er kompatible med OpenAI-API-et, men som avvikende fra skybaserte løsninger, bruker CORS-headere. CORS Chat forenkler finjustering og feilsøking ved at utviklere kan konfigurere egne API-endepunkter med tilpassede headere, lagre samtaler lokalt og håndtere flere økter samtidig. Dette er spesielt nyttig for de som jobber med "open source"-modeller eller ""-utvikling utenfor skyleverandørers plattformer.
Kilder til denne saken: Simon Willison ↗
AI: Research, språk og faktasjekk.
Relatert
