Falcom 180B et 40B, les LLMs Open Source d'Abu Dhabi

: Raphaël Richard, 24pm Academy; 11 septembre 2023, 09:02

Les Emirats Arabes Unis lancent Falcon-180B, un nouveau LLM Open Source permettant un usage commercial. Disponible en anglais, allemand, espagnol, français, italien, portugais, polonais, néerlandais, roumain, tchèque et suédois.

Rappel: un LLM (Large Language Model) est le "moteur" au coeur des chatbots comme ChatGPT.

Cette annonce est intéressante dans un contexte où plusieurs états du Golfe cherchent à diversifier leur économie et se positionnent sur les nouvelles technologies, comme l'IA, pour y parvenir.

Ainsi, l'Arabie Saoudite espère générer 135 milliards de dollars de PIB autour de l'IA d'ici 2030.

Selon le communiqué officiel du TII (Technology Innovation Institute, situé à et financé par Abu Dhabi et non, en Arabie Saoudite), ce LLM, avec ses 180 milliards de paramètres, est un des LLM les plus puissants du point de vue technique (Bloom en affiche 175, GPT 3.5 aussi).

Il surpasserait aussi dans les benchmarks techniques, les LLMs Open Source ou propriétaires comme GPT 3.5 ou LLama2 de Facebook (version 70B) et ferait jeu égal avec le Palm 2 de Google.

Mais, attention, on le sait depuis mars 2023, la puissance technique n'est pas directement corrélée à la qualité de l'expérience utilisateur.

Nous n'avons pas fait passer à Falcon, le benchmark que nous avons mis au point pour déterminer les performances vues par l'utilisateur ordinaire, mais voici ce qui ressort de rapides tests sur la version de démo.

Cette version correspond plus à ce que GPT 3 faisait début 2021 qu'a ce que permet Palm2 aujourd'hui:

Cette version génère des textes de bonne qualité, mais avec des coquilles bêtes (comme des majuscules qui apparaissent sans raison en milieu de phrase)
Cette version génère des textes assez courts (env. 100 à 150 mots) comme GPT début 2021
Elle ne tolère pas trop les fautes d'orthographe dans le prompt
Il gère les conversations (il tient compte des premiers échanges si vous lui demandez des précision ou corrections)

Ses données remontent à 2021

Falcon 180B est le dernier LLM Opensouce de la série des modèles Falcon (qui existe en version 40B, 7.5B, 1.3B

Il a été entraîné sur le cloud d'AWS dédié à l'entraînement des modèles d'IA (Amazon Sagemaker) avec 3500 milliards de tokens (un token est l'équivalent d'un mot ou d'une expression) et sur le dataset Refinedweb.

Deux détails intéressants

1. Lighton, une start up française qui s'est repositionnée sur les LLM et a développé son propre LLM (Paradigm), a adapté et personnalisé le modèle Falcon 40B (le petit frère de Falcon 180B) pour le proposer à ses clients.

2. Les licences d'utilisation "OpenSource" sont toujours difficile à comprendre. C'est pourquoi le TII a créé une FAQ qui passe en revue dans une langue compréhensible, ce qui est autorisé par cette licence Opensource.

En résumé

Créer un LLM personnalisé pour un usage commerciale (par ex, pour créer un chatbot pour site web, intranet, appli mobile): OK
Proposer de créer un LLM personnalisé à un client: OK
Facturer l'hébergement de la version de Falcon 180B appartenant à une entreprise cliente: OK
Facturer l'utilisation de Falcon 180B via une API: non inclus dans la licence Opensource.