Kleine Modelle auf eigener Hardware: wann sie genügen

Ein Unternehmen möchte eingehende Kunden-E-Mails in feste Kategorien einordnen und Auftragsnummern herausziehen. Es schickt jede E-Mail an ein großes externes Modell. Das funktioniert. Dann wächst die Rechnung mit dem Volumen, jede E-Mail wartet ein paar Sekunden auf eine Antwort von einem anderen Kontinent, und die Rechtsabteilung fragt, warum Kundenkorrespondenz das Unternehmen überhaupt verlässt.

Jemand fragt, ob ein kleines Modell auf einem Server im Büro dieselbe Arbeit erledigen könnte. Niemand weiß es, weil die Modellwahl nie gemessen wurde. Sie wurde einmal getroffen, für das ganze Unternehmen, nach Ruf.

Die Ursache: Die Modellwahl wird als Plattformentscheidung behandelt statt als Entscheidung je Aufgabe. Frontier-Modelle sind Generalisten, gebaut, um fast alles gut zu können. Das meiste, was ein Unternehmen von einem Sprachmodell braucht, ist eng, wiederkehrend und klar umrissen. Für enge Aufgaben kann ein viel kleineres Open-Weight-Modell – vielleicht auf die Aufgabe angepasst und so komprimiert, dass es auf bescheidener Hardware läuft – genauso genau sein, schneller, günstiger je Aufruf und vollständig unter der Kontrolle des Unternehmens. Oder auch nicht. Genau dafür gibt es eine Bewertung.

Wo kleine Modelle oft genügen

Klassifizierung und Weiterleitung. Eingaben in feste Kategorien, Prioritäten oder Teams einordnen.

Extraktion. Felder aus Dokumenten mit bekanntem Aufbau herausziehen: Rechnungsnummern, Daten, Beträge, Auftragsreferenzen.

Schwärzen, bevor etwas das Haus verlässt. Ein kleines lokales Modell entfernt personenbezogene und vertrauliche Angaben, sodass ein größeres externes Modell den Rest der Arbeit mit dem erledigen kann, was übrig bleibt.

Embeddings für die interne Suche. Interne Dokumente für die Suche in Vektoren umzuwandeln, braucht kein Frontier-Modell, und die Dokumente müssen das Haus nie verlassen.

Spracherkennung vor Ort. Lokale Transkription hält die Stimmen der Mitarbeitenden im Unternehmen – wichtig für Sprache, wenn die Hände beschäftigt sind.

Kurze Entwürfe nach Vorlage. Standardantworten mit festem Aufbau und Ton.

Wo sie an Grenzen stoßen

Langes, mehrstufiges Schlussfolgern über viele Quellen und viele Runden.

Offenes Schreiben für Kunden und Partner, dessen Qualität Menschen außerhalb des Unternehmens beurteilen.

Sprachen und Fachgebiete mit wenig Trainingsdaten. Die Leistung in einer weniger verbreiteten Sprache oder einem Spezialgebiet muss getestet werden, nicht angenommen.

Änderungen am System selbst schreiben. Code und Konfiguration zur Prüfung zu erzeugen, ist der Bereich, in dem die leistungsfähigsten Modelle ihre Kosten wert sind.

Alles, was Sie nicht bewerten können. Wenn Sie nicht erkennen können, ob die Antwort stimmt, können Sie auch nicht erkennen, ob ein kleines Modell gut genug ist.

Die Kosten auf Ihrer Seite

Ein Modell, das Sie betreiben, ist ein System, das Sie betreiben: Hardware, Updates, Monitoring, Sicherheitspatches und jemand, der verantwortlich ist, wenn es sich falsch verhält. Offene Gewichte kommen außerdem mit Lizenzen, und die unterscheiden sich; manche knüpfen die kommerzielle Nutzung an Bedingungen. Lesen Sie die Lizenz jedes Modells, bevor es auch nur in die Nähe des Produktivbetriebs kommt.

Wie Sie entscheiden

Entscheiden Sie je Aufgabe, anhand von Belegen. Bauen Sie aus echten Beispielen einen Bewertungsdatensatz, der die häufigen und die kniffligen Fälle abdeckt, mit korrekten Antworten, geprüft von den Menschen, die die Arbeit machen. Lassen Sie das Frontier-Modell, das Sie heute nutzen, und ein oder zwei kleine Kandidaten darüber laufen. Vergleichen Sie die Genauigkeit bei den Fällen, auf die es ankommt, die Antwortzeit, die Kosten je tausend Aufrufe und wohin die Daten gehen. Wählen Sie das kleinste Modell, das die Latte überspringt, und wiederholen Sie die Bewertung, sobald sich eines der Modelle ändert.

Hurukan ist darauf ausgelegt, diese Wahl zur Routine zu machen. Die Ebene Superintelligenz leitet jede Aufgabe nach den Regeln des Unternehmens an ein Modell weiter, zwischen Frontier-Modellen und lokal laufenden Modellen, und ein Modell lässt sich austauschen, ohne die Agenten anzufassen, die es nutzen. Die Ebene Sicherheit und Souveränität ist für Infrastruktur gebaut, die das Unternehmen besitzt oder wählt. Beides ist im Aufbau. Welche Daten überhaupt an ein lokales Modell gehen sollten, behandelt welche Daten im Haus bleiben müssen.

Ein Test, den Sie heute machen können

Wählen Sie eine enge Aufgabe, die Sie derzeit an ein externes Modell schicken: Klassifizieren, Extrahieren oder Verschlagworten. Sammeln Sie eine Stichprobe echter Eingaben aus der vergangenen Woche und lassen Sie die Person, die diese Arbeit normalerweise erledigt, zu jeder die korrekte Ausgabe notieren.

Lassen Sie dieselben Eingaben durch ein kleines Open-Weight-Modell auf einer Workstation laufen, mit einem der gängigen Werkzeuge für den lokalen Modellbetrieb. Vergleichen Sie seine Ausgaben und die des externen Modells mit den korrekten.

Hält das kleine Modell bei den Fällen mit, auf die es ankommt, haben Sie eine Aufgabe gefunden, die im Haus bleiben kann. Wenn nicht, haben Sie jetzt einen Bewertungsdatensatz, und den lohnt es sich aufzuheben: Er sagt Ihnen, an welchem Tag ein kleines Modell gut genug wird.