Där stora språkmodeller gör nytta i ett företag

Ett företag köper licenser till en chattassistent för varje medarbetare. Ett halvår senare är bilden blandad. Vissa använder den varje dag för mejl och mötessammanfattningar. De flesta provade den några gånger och slutade. Någon på ekonomi bad den stämma av två reskontror och fick självsäkra, välformaterade och felaktiga siffror. När förnyelsen kommer upp kan ingen säga vad den förändrade, och beslutet fattas på anekdoter.

Licenserna var inte misstaget. Misstaget var att införa en stor språkmodell som ett allmänt verktyg för alla, i stället för att placera den på specifika ställen i specifika processer där dess styrkor passar arbetet.

De styrkorna är verkliga och smala. En språkmodell är bra på språk: att läsa ostrukturerad indata, plocka ut struktur ur den, skriva utkast, sammanfatta, klassificera och översätta mellan det sätt en människa ställer en fråga på och det sätt ett system behöver frågas. Den är svag på exakt aritmetik, på att minnas fakta den inte fått, på att hålla ett konsekvent tillstånd genom en lång process och på att stå till svars för ett beslut.

Där de gör nytta

Att läsa det som kommer ostrukturerat. Mejl, leverantörsfakturor, följesedlar, reklamationer och ordrar som skickas som bilagor. Modellen gör om dem till strukturerade fält, vart och ett med det avsnitt det hämtades från, så att en människa kan kontrollera det på några sekunder. Det här är början på flödet för leverantörsfakturor i Hurukans modul Ekonomi: infångade, konterade, godkända, exporterade.

Att skriva utkast som en människa skickar. Svar till kunder, första versioner av offerter, sammanfattningar av ett ärendes historik inför ett samtal. Människan redigerar och skickar; modellen besparar henne det tomma bladet. Modulen Kundservice är utformad efter just den regeln: agenterna skriver utkast, en människa skickar.

Att göra om frågor till databasfrågor. En chef frågar varför leveranserna till en region är sena. Modellen gör om det till en fråga mot en definierad modell av verksamheten och lämnar svaret med frågan synlig.

Att klassificera och routa. Vilket team, vilken prioritet, vilken mall. Smalt, repetitivt och lätt att kontrollera, vilket också gör det till en bra kandidat för en mindre modell.

Att förklara en post. Varför är den här ordern stoppad? Modellen läser postens historik och skriver tre meningar som en människa kan agera på.

Att skriva ändringar i själva systemet. Ett nytt fält, en ny regel, en ny rapport, skrivna av en agent som en ändring för en människa att granska. Det är så Hurukan är tänkt att byggas ut: beskrivet, skrivet av en agent, godkänt av en människa, registrerat.

Där de inte gör det

Aritmetik och avstämning. Använd kod. En modell kan skriva eller anropa koden som räknar ut summan, men ska inte räkna ut summan i huvudet.

Fakta den inte har fått. Utan förankring i företagets data producerar en modell trovärdig text. Vad den är förankrad i spelar lika stor roll som modellen, som argumenteras i sökning i ontologin.

Numeriska prognoser. Prognoser för efterfrågan, likviditet och kapacitet är ett jobb för klassiska statistiska modeller och maskininlärningsmodeller med backtest, som förklaras i klassisk ML slår fortfarande en LLM på efterfrågeprognoser.

Slutliga beslut med konsekvenser. Betalningar, prisåtaganden, avtalsvillkor, allt som rör människors anställning. Modellen förbereder; en människa beslutar.

Allt du inte kan kontrollera. Om ett resultat inte kan verifieras billigt är kostnaden för dess fel dold tills den är stor.

Så placerar du dem

Ställ fyra frågor för varje tänkbar användning. Är indatan mest text? Kan resultatet snabbt kontrolleras av den som tar emot det? Går ett misstag att ångra? Vem godkänner innan något lämnar företaget eller ändrar en post? De bra användningarna har text in, ett resultat som snabbt kan kontrolleras och ett misstag som går att ångra, med ett godkännande överallt där det sista villkoret inte uppfylls.

Skicka sedan varje uppgift till den modell som passar. Hurukans lager Superintelligens är utformat för att göra det per uppgift, mellan spjutspetsmodeller och modeller som körs på företagets egen hårdvara, enligt regler om kvalitet, kostnad och vart data får gå. Integrationer med Microsoft 365 Copilot, Claude och ChatGPT är planerade, inte i drift.

Ett test du kan göra i dag

Lista de tio uppgifter som tar mest tid på en avdelning varje vecka. Markera tre saker för var och en:

1. Indatan är mest text. Ja eller nej.
2. Resultatet kan kontrolleras på under en minut. Ja eller nej.
3. Ett misstag går att ångra. Ja eller nej.

Uppgifter med tre ja är där en språkmodell troligast gör nytta. Uppgifter med ett nej i den sista kolumnen behöver ett godkännandesteg som utformas före allt annat. Uppgifter med ett nej i den andra kolumnen behöver ett sätt att kontrollera resultatet innan de överhuvudtaget behöver en modell.