Små modeller på egen hårdvara: när de räcker

Ett företag vill sortera inkommande kundmejl i en fast uppsättning kategorier och plocka ut ordernummer. Det skickar varje mejl till en stor extern modell. Det fungerar. Sedan växer fakturan med volymen, varje mejl väntar några sekunder på ett svar från en annan kontinent, och den juridiska avdelningen frågar varför kundkorrespondens överhuvudtaget lämnar företaget.

Någon frågar om en liten modell på en server på kontoret skulle kunna göra samma jobb. Ingen vet, eftersom valet av modell aldrig mättes. Det gjordes en gång, för hela företaget, på ryktet.

Orsaken är att modellvalet behandlas som ett plattformsbeslut i stället för ett beslut per uppgift. Spjutspetsmodeller är generella: de är byggda för att göra nästan allt bra. Det mesta ett företag behöver från en språkmodell är smalt, repetitivt och väldefinierat. För smala uppgifter kan en mycket mindre modell med öppna vikter, kanske anpassad till uppgiften och komprimerad för att köras på blygsam hårdvara, vara lika träffsäker, snabbare, billigare per anrop och helt under företagets kontroll. Eller inte. Det är vad en utvärdering är till för.

Där små modeller ofta räcker

Klassificering och routning. Att sortera indata i en fast uppsättning kategorier, prioriteter eller team.

Extrahering. Att plocka ut fält ur dokument med känd form: fakturanummer, datum, belopp, orderreferenser.

Maskering innan något lämnar huset. En liten lokal modell tar bort personliga och konfidentiella uppgifter, så att en större extern modell kan göra resten av arbetet på det som återstår.

Inbäddningar för intern sökning. Att göra om interna dokument till vektorer för sökning kräver ingen spjutspetsmodell, och dokumenten behöver aldrig lämna huset.

Taligenkänning på plats. Att transkribera tal lokalt håller medarbetarnas röster inom företaget, vilket spelar roll för röst när händerna är upptagna.

Korta, mallbaserade utkast. Standardsvar vars struktur och ton är fastlagda.

Där de inte räcker till

Långa resonemang i flera steg över många källor och många turer.

Öppet skrivande för kunder och partner, där kvaliteten bedöms av människor utanför företaget.

Språk och områden med lite träningsdata. Prestanda på ett mindre vanligt språk eller inom ett specialiserat område måste testas, inte antas.

Att skriva ändringar i själva systemet. Att generera kod och konfiguration för granskning är där de mest kapabla modellerna tjänar in sin kostnad.

Allt du inte kan utvärdera. Om du inte kan avgöra om svaret är rätt kan du inte avgöra om en liten modell är tillräckligt bra.

Kostnaderna på din sida

En modell du kör är ett system du driftar: hårdvara, uppdateringar, övervakning, säkerhetsuppdateringar och någon som äger den när den beter sig konstigt. Öppna vikter kommer också med licenser, och de skiljer sig åt; vissa har villkor för kommersiell användning. Läs licensen för varje modell innan den kommer i närheten av produktion.

Så bestämmer du

Bestäm per uppgift, med belägg. Bygg en utvärderingsmängd av verkliga exempel, som täcker både de vanliga fallen och de besvärliga, med korrekta svar kontrollerade av dem som gör jobbet. Kör den spjutspetsmodell du använder i dag och en eller två små kandidater på den. Jämför träffsäkerheten i de fall som spelar roll, svarstiden, kostnaden per tusen anrop och vart datan tar vägen. Välj den minsta modell som når ribban, och kör utvärderingen igen när någon av modellerna ändras.

Hurukan är utformat för att göra det valet till rutin. Lagret Superintelligens skickar varje uppgift till en modell enligt företagets regler, mellan spjutspetsmodeller och modeller som körs lokalt, och en modell kan bytas ut utan att de agenter som använder den påverkas. Lagret Säkerhet och suveränitet är byggt för infrastruktur som företaget äger eller väljer. Båda är under uppbyggnad. Vilken data som ska gå till en lokal modell från början är ämnet för vilken data som inte får lämna huset.

Ett test du kan göra i dag

Välj en smal uppgift som du i dag skickar till en extern modell: klassificering, extrahering eller taggning. Samla ett urval verkliga indata från förra veckan och be den som normalt gör jobbet att skriva ner det korrekta resultatet för var och en.

Kör samma indata genom en liten modell med öppna vikter på en arbetsstation, med något av de vanliga verktygen för att köra modeller lokalt. Jämför dess resultat, och den externa modellens, med de korrekta.

Om den lilla modellen håller måttet i de fall som spelar roll har du hittat en uppgift som kan stanna i huset. Om den inte gör det har du nu en utvärderingsmängd, och den är värd att spara: den kommer att tala om för dig den dag en liten modell blir tillräckligt bra.