Waar grote taalmodellen in een bedrijf hun geld waard zijn

Een bedrijf koopt voor elke medewerker licenties op een chatassistent. Zes maanden later is het beeld wisselend. Sommige mensen gebruiken hem dagelijks voor e-mails en vergaderverslagen. De meesten probeerden hem een paar keer en stopten. Iemand van finance vroeg hem twee grootboeken op elkaar af te stemmen en kreeg zelfverzekerde, keurig opgemaakte, foute getallen. Als de verlenging op tafel komt, kan niemand zeggen wat hij heeft veranderd, en het besluit wordt genomen op basis van anekdotes.

De licenties waren niet de fout. De fout was een groot taalmodel uit te rollen als algemene tool voor iedereen, in plaats van het op specifieke punten in specifieke processen te plaatsen waar zijn sterke kanten bij het werk passen.

Die sterke kanten zijn echt, en smal. Een taalmodel is goed in taal: ongestructureerde input lezen, er structuur uit halen, tekst opstellen, samenvatten, classificeren, en vertalen tussen de manier waarop een mens een vraag stelt en de manier waarop een systeem bevraagd moet worden. Het is zwak in exact rekenen, in het onthouden van feiten die het niet heeft gekregen, in het vasthouden van een consistente toestand over een lang proces, en in het dragen van verantwoordelijkheid voor een besluit.

Waar ze hun geld waard zijn

Lezen wat ongestructureerd binnenkomt. E-mails, inkomende facturen, pakbonnen, klachten en orders die als bijlage worden gestuurd. Het model zet ze om in gestructureerde velden, elk met de passage waar het uit komt, zodat een mens het in seconden kan controleren. Dit is de voorkant van het proces voor inkomende facturen in de module Financiën van Hurukan: vastgelegd, gecodeerd, goedgekeurd, geëxporteerd.

Opstellen zodat een mens kan versturen. Antwoorden aan klanten, eerste versies van offertes, samenvattingen van een dossier voor een gesprek. De mens bewerkt en verstuurt; het model bespaart het lege vel. De module Klantenservice is precies op deze regel ontworpen: agents stellen op, een mens verstuurt.

Vragen omzetten in queries. Een manager vraagt waarom leveringen naar één regio te laat zijn. Het model maakt daar een query van op een gedefinieerd model van het bedrijf en geeft het antwoord terug, met de query erbij.

Classificeren en routeren. Welk team, welke prioriteit, welk sjabloon. Smal, repetitief en makkelijk te controleren, en daarmee ook een goede kandidaat voor een kleiner model.

Een record uitleggen. Waarom staat deze order on hold? Het model leest de historie van het record en schrijft drie zinnen waar een mens mee verder kan.

Wijzigingen in het systeem zelf schrijven. Een nieuw veld, een nieuwe regel, een nieuwe rapportage, door een agent opgesteld als wijziging die een mens beoordeelt. Zo is Hurukan bedoeld om te worden uitgebreid: beschreven, door een agent geschreven, door een mens goedgekeurd, vastgelegd.

Waar niet

Rekenen en afstemmen. Gebruik code. Een model kan de code schrijven of aanroepen die de som maakt, maar hoort de som niet uit het hoofd te maken.

Feiten die het niet heeft gekregen. Zonder verankering in de data van het bedrijf produceert een model aannemelijke tekst. Waarin het verankerd is, doet net zoveel ter zake als het model zelf, zoals betoogd in zoeken in de ontologie.

Numerieke prognoses. Prognoses voor vraag, kasstroom en capaciteit zijn werk voor klassieke statistische en machinelearningmodellen met een backtest, zoals uitgelegd in klassieke ML verslaat een LLM bij vraagprognoses.

Eindbesluiten met gevolgen. Betalingen, prijstoezeggingen, contractvoorwaarden, alles wat met iemands dienstverband te maken heeft. Het model bereidt voor; een mens beslist.

Alles wat u niet kunt controleren. Als een uitkomst niet goedkoop te verifiëren is, blijven de kosten van de fouten verborgen tot ze groot zijn.

Hoe u ze plaatst

Stel bij elke kandidaat-toepassing vier vragen. Is de input vooral tekst? Kan de ontvanger de uitkomst snel controleren? Is een fout terug te draaien? Wie keurt goed voordat er iets het bedrijf verlaat of een record verandert? Goede toepassingen hebben tekst als input, een snel te controleren resultaat en een herstelbare fout, met een goedkeuring overal waar aan die laatste voorwaarde niet is voldaan.

Leid vervolgens elke taak naar het model dat erbij past. De laag Superintelligentie van Hurukan is ontworpen om dat per taak te doen, tussen frontiermodellen en modellen op de eigen hardware van het bedrijf, volgens regels over kwaliteit, kosten en waar data naartoe mag. Integraties met Microsoft 365 Copilot, Claude en ChatGPT zijn gepland, niet live.

Een test die u vandaag kunt doen

Zet de tien taken op een rij die in één afdeling elke week de meeste tijd kosten. Markeer per taak drie dingen:

1. De input is vooral tekst. Ja of nee.
2. Het resultaat is in minder dan een minuut te controleren. Ja of nee.
3. Een fout is terug te draaien. Ja of nee.

Taken met drie keer ja zijn de plekken waar een taalmodel het meest waarschijnlijk zijn geld waard is. Taken met een nee in de laatste kolom hebben eerst een ontworpen goedkeuringsstap nodig. Taken met een nee in de tweede kolom hebben een manier nodig om de uitkomst te controleren, nog voordat ze überhaupt een model nodig hebben.