Des petits modèles sur votre propre matériel : quand ils suffisent

Une entreprise veut trier les e-mails entrants de ses clients dans un ensemble fixe de catégories et en extraire les numéros de commande. Elle envoie chaque e-mail à un grand modèle externe. Cela fonctionne. Puis la facture grossit avec le volume, chaque e-mail attend quelques secondes une réponse venue d’un autre continent, et le service juridique demande pourquoi la correspondance des clients quitte l’entreprise.

Quelqu’un demande si un petit modèle, sur un serveur dans les locaux, pourrait faire le même travail. Personne ne le sait, car le choix du modèle n’a jamais été mesuré. Il a été fait une fois, pour toute l’entreprise, sur la foi de la réputation.

La cause : le choix du modèle est traité comme une décision de plateforme, et non tâche par tâche. Les modèles de pointe sont généralistes : ils sont conçus pour presque tout bien faire. Or l’essentiel de ce qu’une entreprise attend d’un modèle de langage est ciblé, répétitif et bien défini. Pour ces tâches ciblées, un modèle à poids ouverts beaucoup plus petit, éventuellement adapté à la tâche et compressé pour tourner sur un matériel modeste, peut se révéler aussi précis, plus rapide, moins cher par appel et entièrement sous le contrôle de l’entreprise. Ou pas. C’est précisément le rôle d’une évaluation.

Où les petits modèles suffisent souvent

Classification et orientation. Répartir des entrées dans un ensemble fixe de catégories, de priorités ou d’équipes.

Extraction. Extraire des champs de documents à la structure connue : numéros de facture, dates, montants, références de commande.

Anonymisation avant tout envoi. Un petit modèle local retire les données personnelles et confidentielles, pour qu’un modèle externe plus grand puisse faire le reste du travail sur ce qui reste.

Plongements vectoriels pour la recherche interne. Transformer les documents internes en vecteurs pour la recherche ne nécessite pas de modèle de pointe, et les documents n’ont jamais besoin de sortir.

Reconnaissance vocale sur site. Transcrire la parole localement garde la voix des équipes à l’intérieur de l’entreprise, ce qui compte pour la voix quand les mains sont occupées.

Rédaction courte et normée. Des réponses types dont la structure et le ton sont fixés.

Où ils atteignent leurs limites

Un raisonnement long, en plusieurs étapes, portant sur de nombreuses sources et de nombreux échanges.

La rédaction libre destinée aux clients et aux partenaires, dont la qualité est jugée par des personnes extérieures à l’entreprise.

Les langues et les domaines peu représentés dans les données d’entraînement. Les performances dans une langue moins répandue ou un domaine spécialisé doivent être testées, pas supposées.

L’écriture de modifications du système lui-même. Générer du code et de la configuration à relire, c’est là que les modèles les plus performants justifient leur coût.

Tout ce que vous ne savez pas évaluer. Si vous ne pouvez pas dire si la réponse est juste, vous ne pouvez pas dire si un petit modèle est assez bon.

Les coûts de votre côté

Un modèle que vous exploitez est un système que vous opérez : matériel, mises à jour, supervision, correctifs de sécurité, et une personne responsable quand il se comporte mal. Les poids ouverts s’accompagnent aussi de licences, qui diffèrent ; certaines posent des conditions à l’usage commercial. Lisez la licence de chaque modèle avant qu’il n’approche la production.

Comment décider

Décidez tâche par tâche, sur des preuves. Constituez un jeu d’évaluation à partir d’exemples réels, couvrant les cas courants et les cas délicats, avec des réponses correctes vérifiées par les personnes qui font le travail. Faites-y passer le modèle de pointe que vous utilisez aujourd’hui et un ou deux petits candidats. Comparez la précision sur les cas qui comptent, le temps de réponse, le coût pour mille appels et la destination des données. Retenez le plus petit modèle qui atteint le niveau requis, et refaites l’évaluation chaque fois que l’un des modèles change.

Hurukan est conçu pour faire de ce choix une routine. La couche Super Intelligence confie chaque tâche à un modèle selon les règles de l’entreprise, entre modèles de pointe et modèles exécutés localement, et un modèle peut être remplacé sans toucher aux agents qui l’utilisent. La couche Sécurité et souveraineté est conçue pour une infrastructure que l’entreprise possède ou choisit. Les deux sont en construction. Quelles données confier d’abord à un modèle local, c’est le sujet de quelles données doivent rester dans l’entreprise.

Un test à faire dès aujourd’hui

Choisissez une tâche ciblée que vous confiez aujourd’hui à un modèle externe : classer, extraire ou étiqueter. Rassemblez un échantillon d’entrées réelles de la semaine dernière et demandez à la personne qui fait habituellement ce travail de noter la sortie correcte pour chacune.

Faites passer les mêmes entrées dans un petit modèle à poids ouverts sur un poste de travail, à l’aide de l’un des outils courants d’exécution locale. Comparez ses sorties, et celles du modèle externe, aux réponses correctes.

Si le petit modèle fait jeu égal sur les cas qui comptent, vous avez trouvé une tâche qui peut rester dans l’entreprise. Sinon, vous disposez désormais d’un jeu d’évaluation, qui vaut la peine d’être conservé : il vous dira le jour où un petit modèle sera devenu assez bon.