Małe modele na własnym sprzęcie: kiedy wystarczą

Firma chce sortować przychodzące maile od klientów do stałego zestawu kategorii i wyciągać z nich numery zamówień. Wysyła każdy mail do dużego zewnętrznego modelu. Działa. Potem rachunek rośnie razem z liczbą maili, każdy mail czeka kilka sekund na odpowiedź z innego kontynentu, a dział prawny pyta, dlaczego korespondencja z klientami w ogóle opuszcza firmę.

Ktoś pyta, czy mały model na serwerze w biurze nie zrobiłby tego samego. Nikt nie wie, bo wyboru modelu nigdy nie zmierzono. Dokonano go raz, dla całej firmy, na podstawie renomy.

Przyczyna jest taka, że wybór modelu traktuje się jak decyzję o platformie, a nie decyzję dla konkretnego zadania. Czołowe modele są ogólne: zbudowano je, żeby dobrze robiły prawie wszystko. Większość tego, czego firma potrzebuje od modelu językowego, jest wąska, powtarzalna i dobrze określona. Przy wąskich zadaniach znacznie mniejszy model otwarty, być może dostrojony do zadania i skompresowany tak, żeby działał na skromnym sprzęcie, może być równie trafny, szybszy, tańszy w przeliczeniu na wywołanie i w pełni pod kontrolą firmy. Albo może nie być. Od tego jest ewaluacja.

Gdzie małe modele często wystarczają

Klasyfikacja i kierowanie. Przypisywanie danych do stałego zestawu kategorii, priorytetów albo zespołów.

Wyciąganie danych. Pobieranie pól z dokumentów o znanym układzie: numerów faktur, dat, kwot, numerów zamówień.

Anonimizacja, zanim cokolwiek wyjdzie. Mały lokalny model usuwa dane osobowe i poufne, tak żeby większy zewnętrzny model mógł wykonać resztę pracy na tym, co zostało.

Embeddingi do wyszukiwania wewnętrznego. Zamiana dokumentów wewnętrznych na wektory do wyszukiwania nie wymaga czołowego modelu, a dokumenty nie muszą nigdzie wychodzić.

Rozpoznawanie mowy na miejscu. Lokalna transkrypcja zatrzymuje głosy pracowników w firmie, co ma znaczenie dla głosu tam, gdzie ręce są zajęte.

Krótkie szkice według szablonu. Standardowe odpowiedzi o stałej strukturze i stałym tonie.

Gdzie nie wystarczają

Długie, wieloetapowe rozumowanie na wielu źródłach i w wielu krokach.

Swobodne pisanie dla klientów i partnerów, gdzie jakość oceniają ludzie spoza firmy.

Języki i dziedziny z małą ilością danych treningowych. Jakość w rzadszym języku albo w wąskiej specjalizacji trzeba sprawdzić, a nie zakładać. Dotyczy to także polszczyzny w słownictwie branżowym.

Pisanie zmian w samym systemie. Generowanie kodu i konfiguracji do przeglądu to miejsce, gdzie najzdolniejsze modele są warte swojej ceny.

Wszystko, czego nie umiesz ocenić. Jeśli nie wiesz, czy odpowiedź jest poprawna, nie wiesz też, czy mały model wystarcza.

Koszty po Twojej stronie

Model, który uruchamiasz, to system, który utrzymujesz: sprzęt, aktualizacje, monitoring, łatki bezpieczeństwa i ktoś, kto za niego odpowiada, kiedy zaczyna się źle zachowywać. Modele otwarte mają też licencje, a te się różnią; niektóre stawiają warunki dotyczące użycia komercyjnego. Przeczytaj licencję każdego modelu, zanim zbliży się do produkcji.

Jak decydować

Decyduj dla każdego zadania osobno, na podstawie dowodów. Zbuduj zestaw testowy z prawdziwych przykładów, obejmujący typowe przypadki i te niewygodne, z poprawnymi odpowiedziami sprawdzonymi przez ludzi, którzy wykonują tę pracę. Przepuść przez niego czołowy model, którego używasz dziś, i jednego lub dwóch małych kandydatów. Porównaj trafność w przypadkach, które mają znaczenie, czas odpowiedzi, koszt tysiąca wywołań i to, dokąd trafiają dane. Wybierz najmniejszy model, który spełnia wymagania, i powtórz ewaluację, gdy zmieni się którykolwiek z modeli.

Hurukan jest projektowany tak, żeby taki wybór był rutyną. Warstwa Superinteligencji kieruje każde zadanie do modelu według reguł firmy, między czołowymi modelami a modelami działającymi lokalnie, a model da się wymienić bez ruszania agentów, którzy z niego korzystają. Warstwa Bezpieczeństwo i suwerenność jest budowana z myślą o infrastrukturze, którą firma posiada albo wybiera. Obie są w budowie. To, które dane powinny w ogóle trafiać do modelu lokalnego, opisuje tekst o tym, które dane nie mogą opuścić firmy.

Test na dziś

Wybierz jedno wąskie zadanie, które dziś wysyłasz do zewnętrznego modelu: klasyfikację, wyciąganie danych albo tagowanie. Zbierz próbkę prawdziwych danych z zeszłego tygodnia i poproś osobę, która zwykle wykonuje tę pracę, o zapisanie poprawnego wyniku dla każdej pozycji.

Przepuść te same dane przez mały model otwarty na stacji roboczej, używając jednego z popularnych narzędzi do lokalnego uruchamiania modeli. Porównaj jego wyniki oraz wyniki modelu zewnętrznego z poprawnymi.

Jeśli mały model zgadza się w przypadkach, które mają znaczenie, znalazłeś zadanie, które może zostać w firmie. Jeśli nie, masz teraz zestaw testowy, który warto zachować: powie Ci, kiedy mały model stanie się wystarczająco dobry.