Pienet mallit omalla laitteistolla: milloin ne riittävät

Yritys haluaa lajitella saapuvat asiakassähköpostit kiinteisiin luokkiin ja poimia niistä tilausnumerot. Se lähettää jokaisen sähköpostin suurelle ulkoiselle mallille. Se toimii. Sitten lasku kasvaa määrän mukana, jokainen sähköposti odottaa muutaman sekunnin vastausta toiselta mantereelta, ja lakitiimi kysyy, miksi asiakaskirjeenvaihto ylipäätään lähtee yrityksen ulkopuolelle.

Joku kysyy, voisiko pieni malli toimiston palvelimella tehdä saman työn. Kukaan ei tiedä, koska mallin valintaa ei koskaan mitattu. Se tehtiin kerran koko yritykselle maineen perusteella.

Syy on se, että mallin valintaa käsitellään alustapäätöksenä eikä tehtäväkohtaisena päätöksenä. Kärkimallit ovat yleiskäyttöisiä: ne on rakennettu tekemään lähes mitä tahansa hyvin. Suurin osa siitä, mitä yritys kielimallilta tarvitsee, on kapeaa, toistuvaa ja tarkasti määriteltyä. Kapeissa tehtävissä paljon pienempi avoimien painojen malli, mahdollisesti tehtävään sovitettuna ja vaatimattomalle laitteistolle pakattuna, voi olla yhtä tarkka, nopeampi, kutsua kohden halvempi ja kokonaan yrityksen hallinnassa. Tai sitten ei. Sitä varten arviointi on olemassa.

Missä pienet mallit usein riittävät

Luokittelu ja ohjaus. Syötteiden lajittelu kiinteisiin luokkiin, prioriteetteihin tai tiimeille.

Tietojen poiminta. Kenttien poimiminen tunnetun muotoisista dokumenteista: laskunumerot, päivämäärät, summat ja tilausviitteet.

Peittäminen ennen kuin mitään lähtee. Pieni paikallinen malli poistaa henkilö- ja luottamukselliset tiedot, jotta suurempi ulkoinen malli voi tehdä loput työstä jäljelle jääneen pohjalta.

Upotukset sisäiseen hakuun. Sisäisten dokumenttien muuttaminen vektoreiksi hakua varten ei vaadi kärkimallia, eikä dokumenttien tarvitse koskaan lähteä talosta.

Puheentunnistus paikan päällä. Puheen litterointi paikallisesti pitää henkilöstön äänet yrityksen sisällä, mikä on tärkeää puheelle, kun kädet ovat varattuina.

Lyhyt, vakiomuotoinen luonnostelu. Vakiovastaukset, joiden rakenne ja sävy ovat kiinteät.

Missä ne jäävät vajaiksi

Pitkä, monivaiheinen päättely monista lähteistä ja monen vuoron yli.

Avoin kirjoittaminen asiakkaille ja kumppaneille, kun laadun arvioivat yrityksen ulkopuoliset ihmiset.

Kielet ja alat, joista on vähän opetusdataa. Suorituskyky harvinaisemmalla kielellä tai erikoistuneella alalla on testattava, ei oletettava.

Muutosten kirjoittaminen itse järjestelmään. Koodin ja konfiguraation tuottaminen katselmoitavaksi on se kohta, jossa kyvykkäimmät mallit ansaitsevat hintansa.

Kaikki, mitä ei voi arvioida. Jos ei pysty sanomaan, onko vastaus oikein, ei pysty sanomaan, onko pieni malli riittävän hyvä.

Kustannukset omalla puolella

Itse ajettava malli on järjestelmä, jota operoidaan: laitteisto, päivitykset, valvonta, tietoturvapäivitykset ja joku, joka vastaa siitä, kun se toimii väärin. Avoimiin painoihin liittyy myös lisenssejä, ja ne eroavat toisistaan; joihinkin sisältyy kaupallista käyttöä koskevia ehtoja. Lue kunkin mallin lisenssi ennen kuin se menee lähellekään tuotantoa.

Miten päättää

Päätä tehtäväkohtaisesti, näytön perusteella. Rakenna arviointijoukko todellisista esimerkeistä, jotka kattavat sekä tavalliset että hankalat tapaukset, ja anna työn tekijöiden tarkistaa oikeat vastaukset. Aja sillä nykyinen kärkimalli ja yksi tai kaksi pientä ehdokasta. Vertaa tarkkuutta olennaisissa tapauksissa, vasteaikaa, kustannusta tuhatta kutsua kohden ja sitä, minne data kulkee. Valitse pienin malli, joka ylittää riman, ja aja arviointi uudelleen, kun jompikumpi malli muuttuu.

Hurukan on suunniteltu tekemään tästä valinnasta rutiinia. Superäly-kerros reitittää jokaisen tehtävän mallille yrityksen sääntöjen mukaan kärkimallien ja paikallisesti toimivien mallien välillä, ja mallin voi vaihtaa koskematta sitä käyttäviin agentteihin. Tietoturva ja suvereniteetti -kerros on rakennettu yrityksen omalle tai sen valitsemalle infrastruktuurille. Molemmat ovat rakenteilla. Mitkä tiedot ylipäätään kuuluvat paikalliselle mallille, on kirjoituksen mikä data ei saa poistua talosta aihe.

Testi, jonka voi tehdä jo tänään

Valitse yksi kapea tehtävä, jonka lähetätte nyt ulkoiselle mallille: luokittelu, poiminta tai merkitseminen. Kerää otos todellisista syötteistä viime viikolta ja pyydä työn tavallisesti tekevää henkilöä kirjaamaan kullekin oikea tulos.

Aja samat syötteet pienellä avoimien painojen mallilla työasemalla jollakin yleisellä mallien paikalliseen ajamiseen tarkoitetulla työkalulla. Vertaa sen ja ulkoisen mallin tuloksia oikeisiin.

Jos pieni malli pärjää olennaisissa tapauksissa, olet löytänyt tehtävän, joka voi pysyä talossa. Jos ei, käytössä on nyt arviointijoukko, joka kannattaa säilyttää: se kertoo sen päivän, jolloin pieni malli tulee riittävän hyväksi.