Fastino, des TLMs Task Specific Language Models, peu coûteux

Connaissez-vous les TLMs ? Entraîner ou faire tourner des LLMs est coûteux et nécessite de puissantes machines. Pas bon pour l'EDIBTA, l'écologie et notre bilan énergétique. Les TLMs de cette start-up vont peut-être change cela.

Fastino crée et commercialise des TLMs ou Task Specific Language Models accessibles via une API.

Les TLMs sont des modèles de langage très spécialisées, capables de réaliser uniquement certaines tâches (résumé, extraction de données, classification, rédaction).

C'est un peu le contraire de GPT 4 qui est extrêmement polyvalent.

Comme ils ne savent pas faire tout ce que font les LLMs comme coder ou rédiger des recettes de cuisine, par exemple, les TLMs sont
- plus petits (quelques milliards de paramètres contre des centaines de millards pour les LLMs)
- plus rapides
- plus précis
- beaucoup moins chers lorsqu'on les met en production
- exploitables sur des machines équipés de CPUs ou de petites GPUs (des micro ordinateurs un peu costauds, mais pas hors de prix).

Dans le cas de Fastino, en plus, le coût de l'entrainement est très réduit puisque Fastino a mis au point des techniques d'entraînement de modèles se contentant de machines à $100 000 (ce qui est très peu).

Fastino facture à l'accès à ses APIS au forfait et non au token consommé:

- 16 000 requête par mois pour la version gratuite

- Forfait PRO pour 100 000 requêtes à $49/mois (fenêtre de contexte max par requête: 16 000 tokens, soit environ 40 pages)
A titre de comparaison, 100 000 requêtes à GPT4o, le moins cher des modèles d'OpenAI, reviennent à $420)

- Forfait Team pour 3 millions de requêtes à $1275 (fenêtre de contexte max par requête: 128 000 tokens, soit environ 60 pages). Coût GPT4o pour requêtes équivalentes: $63000

Apparement, il est possible de faire tourner ces modèles sur sa propre infrastructure, mais il est difficile d'en savoir plus car pour accéder aux offres, il faut s'inscrire sur une liste d'attente.

Fastino a été créé par Ash Lewis et George Hurn-Maloney et a déjà levé $25 millions.

Fastino affiche de nombreux concurrents
- Les petits modèles des grands du LLMs
- Les modèles Open Source de Mistral, Meta (les "très petits" Llama), de Kyutai, Arcee AI ou Malted.