Små modeller på egen maskinvare: når de er nok

En virksomhet vil sortere innkommende e-post fra kunder i et fast sett kategorier og hente ut ordrenumre. Den sender hver e-post til en stor ekstern modell. Det fungerer. Så vokser regningen med volumet, hver e-post venter noen sekunder på svar fra et annet kontinent, og juristene spør hvorfor kundekorrespondanse i det hele tatt forlater virksomheten.

Noen spør om en liten modell på en server på kontoret kunne gjort den samme jobben. Ingen vet det, for modellvalget ble aldri målt. Det ble tatt én gang, for hele virksomheten, på omdømme.

Årsaken er at modellvalg behandles som en plattformbeslutning og ikke som en beslutning per oppgave. Frontiermodeller er generelle: de er bygd for å gjøre nesten alt godt. Det meste en virksomhet trenger fra en språkmodell, er smalt, repeterende og godt avgrenset. For smale oppgaver kan en mye mindre modell med åpne vekter, gjerne tilpasset oppgaven og komprimert for å kjøre på beskjeden maskinvare, være like treffsikker, raskere, billigere per kall og helt under virksomhetens kontroll. Eller ikke. Det er det en evaluering er til for.

Der små modeller ofte er nok

Klassifisering og ruting. Sortere innkommende saker i et fast sett kategorier, prioriteter eller team.

Uthenting. Hente felt ut av dokumenter med kjent oppbygging: fakturanumre, datoer, beløp, ordrereferanser.

Sladding før noe forlater huset. En liten lokal modell fjerner personopplysninger og fortrolige detaljer, slik at en større ekstern modell kan gjøre resten av jobben på det som er igjen.

Embeddinger for internt søk. Å gjøre interne dokumenter om til vektorer for søk krever ingen frontiermodell, og dokumentene trenger aldri å forlate huset.

Talegjenkjenning på stedet. Lokal transkripsjon holder medarbeidernes stemmer inne i virksomheten, noe som betyr mye for stemmen når hendene er opptatt.

Korte utkast etter mal. Standardsvar med fast struktur og tone.

Der de kommer til kort

Lange resonnementer i mange steg på tvers av mange kilder og mange runder.

Fri tekst til kunder og partnere, der kvaliteten vurderes av folk utenfor virksomheten.

Språk og fagfelt med lite treningsdata. Ytelsen på et mindre vanlig språk eller i et spesialisert felt må testes, ikke tas for gitt.

Å skrive endringer i selve systemet. Å generere kode og konfigurasjon til gjennomgang er der de mest kapable modellene forsvarer kostnaden.

Alt du ikke kan evaluere. Hvis du ikke kan avgjøre om svaret er riktig, kan du heller ikke avgjøre om en liten modell er god nok.

Kostnadene på din side

En modell du kjører selv, er et system du drifter: maskinvare, oppdateringer, overvåking, sikkerhetsoppdateringer og noen som har ansvaret når den oppfører seg rart. Åpne vekter kommer også med lisenser, og de er ulike; noen har vilkår for kommersiell bruk. Les lisensen til hver modell før den kommer i nærheten av produksjon.

Slik bestemmer du deg

Bestem per oppgave, ut fra dokumentasjon. Bygg et evalueringssett av ekte eksempler som dekker både de vanlige tilfellene og de vanskelige, med riktige svar kontrollert av dem som gjør jobben. Kjør frontiermodellen du bruker i dag og én eller to små kandidater over settet. Sammenlign treffsikkerhet på tilfellene som betyr noe, svartid, kostnad per tusen kall og hvor dataene havner. Velg den minste modellen som når kravet, og kjør evalueringen på nytt når en av modellene endres.

Hurukan er utformet for å gjøre det valget til rutine. Superintelligens-laget ruter hver oppgave til en modell etter virksomhetens regler, mellom frontiermodeller og modeller som kjører lokalt, og en modell kan byttes ut uten å røre agentene som bruker den. Sikkerhet og suverenitet-laget er bygd for infrastruktur virksomheten eier eller velger. Begge er under utvikling. Hvilke data som bør gå til en lokal modell i utgangspunktet, er temaet i data som skal bli i huset.

En test du kan gjøre i dag

Velg én smal oppgave du i dag sender til en ekstern modell: klassifisering, uthenting eller merking. Samle et utvalg ekte inndata fra forrige uke, og be personen som vanligvis gjør jobben, skrive ned riktig resultat for hvert av dem.

Kjør de samme inndataene gjennom en liten modell med åpne vekter på en arbeidsstasjon, med et av de vanlige verktøyene for å kjøre modeller lokalt. Sammenlign resultatene, og resultatene fra den eksterne modellen, med de riktige svarene.

Hvis den lille modellen treffer på tilfellene som betyr noe, har du funnet en oppgave som kan bli i huset. Hvis ikke, har du nå et evalueringssett, og det er verdt å ta vare på: det vil fortelle deg den dagen en liten modell blir god nok.