StableLM, LLM concurrent OpenSource de chatGPT
Un nouveau LLM Open Source, StableLM créé par la société Stability.ai, déjà co-créatrice du modèle de génération d'images, Stable Diffusion vient s'ajouter à Bloom, GPT-J et autres LLAMA.
En réalité, l'entreprise brittanique, Stability.ai n'a pas publié un modèle, mais deux (3B et 7B) en mode alpha (avant les versions bêta)et s'apprête à en publier quatre autres (15B, 30B et 65B et 175B), reposant, respectivement, 3 milliards, 7 milliards, 15 milliards, 30 milliards, 65 milliards et 175 milliards de paramètres.
Le nom de ces modèles sont StableML-Alpha (version 3B, 7B...)
Caractéristiques techniques
GPT-NeoX (Transformeurs auto régressifs)
StableLM a été entraîné sur un jeu de données issus de The Pile (créé par le collectif EleutherAI, créé en 2020, en réaction à l'abandon de la transformation d'OpenAI en société commerciale)
Renforcement des modèles de base StableLM grâce à la combinaison de 5 autres jeux de données tierces: Alpaca (52 000 instructions et réponses générées par une équipe de Stanford pour créer Alpaca, par le modèle text-davinci-003 d’OpenAI en contravention avec les CGU d'OpenAI), GPT4All (400 000 instructions et réponses générées par GPT-4, toujours en contravention avec les CGU), ShareGPT52K (conversations récupérées sur le service communautaire ShareGPT), Dolly (15 000 instructions et réponses générées par des humains de la société Databricks) et HH (de la société Antrhropics).
Le code de StableLM
Code des versions Alpha (attention) sur Github des premières versions (version 3B et version 7B)
Démonstration de la version 7B su Hugging Faces
Les données de fine tuning
Matériel nécessaire
Non connu
Licence
Modèle de base sans fine tuning: Open Source (Apache 2.0 CC BY-SA-4.0)
Modèle de base fine-tuné avec les jeux de données tiers: Open Source (CC BY-NC-SA-4.0), donc usage non commercial.
