Liste des Large Language Models de Mistral

La société française Mistral, connue pour ses modèles Open Source, a publié, depuis son lancement, de nombreux Large Language Models. En voici la liste.

Mistral 7B

Nom du modèle Mistral 7B

Développeur / Organisation Mistral AI

Date de lancement 27 septembre 2023

Licence

• Open Source sans restriction, permettant une utilisation sans restrictions, y compris localement ou sur n'importe quel cloud (AWS, GCP, Azure).

Cas d'usage

• Applications d'entreprise restreinte à un domaine étroit
• Applications nécessitant un grand niveau de protection des données personnalité et/ou de confidentialité
• Entreprise souhaitant accéder et personnaliser les poids du modèle

Accès

• Téléchargement sur le site d'OpenAI
• Disponible chez un grand nombre de cloud
• Accessible via La plateforme

Coût

• Téléchargement du modèle gratuit
• Cloud providers: tarification à l'usage différente suivant les services de cloud
• Sur La Plateforme: Input 0,20€ / million de tokens Output 0,20€ / million de tokens

Points forts

• Open Source avec accès aux poids du modèle
• Mistral 7B peut être fine-tuné pour des tâches spécifiques en utilisant des ensembles de données d'instruction disponibles publiquement
• Bonnes capacités de généralisation et peut être adapté pour respecter des directives spécifiques lorsqu'il est utilisé dans des applications

Architecture et caractéristiques techniques

• Langue: Anglais
• Fenêtre de contexte: 8000 tokens
• Mistral 7B est un modèle de 7,3 milliards de paramètres qui excelle dans les tâches de code, de raisonnement et de tâches en anglais.
• Il utilise "l'attention par fenêtre glissantez (Sliding Window Attention - SWA) et "l'attention regroupée par requêtes" (Grouped-query Attention - GQA) pour une inférence plus rapide et la gestion de longues séquences à moindre coût.
• Le modèle a démontré des performances supérieures à celles de Llama 2 13B sur tous les benchmarks et est comparable à Llama 1 34B dans de nombreux benchmarks.
• Mistral 7B a également montré une adaptabilité remarquable, étant efficace dans une gamme d'applications allant des chatbots à la génération de contenu et à la complétion de code.

Performances et benchmarks

• Mistral 7B surpasse les modèles Llama en termes de raisonnement, de mathématiques, et de génération de code.
• Il est évalué sur des benchmarks tels que MMLU, HellaSwag, et d'autres, montrant une performance équivalente à un modèle Llama 2 plus de trois fois sa taille en termes de raisonnement et de compréhension.

Mise en place et déploiement

• Le modèle peut être exécuté en utilisant Docker ou déployé directement avec vLLM sur des hôtes compatibles avec GPU et Cuda 11.8.
• Les utilisateurs peuvent télécharger Mistral 7B et le déployer selon leurs besoins.

Innovations architecturales

• L'attention par fenêtre glissante et l'attention regroupée par requêtes sont des innovations clés, permettant des coûts de calcul linéaires et une réponse rapide pour les applications en temps réel.

Personnalisation et fine-tuning

Pour des détails plus techniques et des guides sur la mise en place, le déploiement et l'utilisation de Mistral 7B, vous pouvez consulter les documents fournis par Mistral AI et les ressources disponibles sur des plateformes comme Hugging Face​

​​Mixtral 8x7B​​​

Nom du modèle Mixtral 8x7B (Mixtral-8x7B-v0.1)

Développeur / Organisation Mistral AI

Licence

Open Source, sous licence Apache 2.0, permettant une utilisation sans restrictions.

Cas d'usage

• Applications d'entreprise restreinte à un domaine étroit
• Applications nécessitant un grand niveau de protection des données personnalité et/ou de confidentialité
• Entreprise souhaitant accéder et personnaliser les poids du modèle

Accès

• Téléchargement à partir le site d'OpenAI ou sur Hugging Face
• Potentiellement disponible chez certains acteurs du Cloud
• Accessible via La plateforme

Coût

• Téléchargement du modèle gratuit
• Cloud providers: tarification à l'usage différente suivant les services de cloud
• Sur  La Plateforme: Input 0,65€ / million de tokens Output 0,65€ / million de tokens

Points forts

• Mixtral 8x7B atteindrait les performances de taille intermédiaire avec un modèle relativement petit et en consommant peu d'énergie
• Open Source avec accès aux poids du modèle

Cas d'usage

• Applications d'entreprise restreinte à un domaine plus ou moins étroit
• Applications nécessitant un grand niveau de protection des données personnalité et/ou de confidentialité
• Application nécessitant de meilleures performances que Mistral 7B.

Architecture et caractéristiques techniques

• Langues Anglais, français, italien, allemand, espagnol et assez fort en code
• Fenêtre de contexte: 32 000 tokens
• Mixtral 8x7B est un modèle de type Sparse Mixture of Experts (SMoE).
• Il comporte 46,7 milliards de paramètres, offrant une performance de haut niveau tout en maintenant l'efficacité du calcul.
• Il est basé sur une architecture de décodeur, avec 8 experts par couche MLP.
• Malgré sa grande taille, les besoins en calcul sont comparables à ceux d'un modèle de 14 milliards de paramètres en raison de son routage intelligent des tokens (chaque token des états cachés est acheminé deux fois, top 2 routing).
• Intègre la Sliding Window Attention et Grouped Query Attention pour une inférence rapide et une gestion efficace de la mémoire cache.
• Utilise un tokenizer Byte-fallback BPE, garantissant qu'aucun caractère n'est mappé à des tokens inconnus.

Performances et benchmarks

• Surpasse le modèle Llama 2 70B dans la plupart des évaluations benchmark.
• Affiche des inférences six fois plus rapides par rapport aux modèles concurrents.
• Comparable ou supérieur à GPT-3.5 sur la plupart des benchmarks standards.

Adaptabilité et versatilité

• Mixtral 8x7B est adaptable à une large gamme d'applications allant de la génération de texte à des tâches spécifiques d'instruction.
• Le modèle est pré-entraîné et ne possède pas de mécanismes de modération intégrés, mais peut être personnalisé pour différentes utilisations.

Mise en place et déploiement

• Supporte la réduction de la précision (jusqu'à 4 bits) pour une utilisation avec des exigences mémoire réduites.
• Compatible avec les serveurs vLLM pour le déploiement ainsi que la bibliothèque Transformers de Hugging Face.

Innovations

• Mixture of Expert (MOE) permettant un traitement efficace et une allocation intelligente des ressources de calcul.
• Routage top-2 pour une distribution efficace des tâches entre les experts.
• Prise en charge de l'attention par fenêtre glissante et de l'attention groupée pour des inférences rapides et une gestion optimisée de la mémoire.

Pour plus de détails, vous pouvez consulter le blog de lancement de Mixtral et la documentation sur Hugging Face​.

Mistral Small

Nom du modèle Mistral Small

Date de publication Février 2024

Développeur / Organisation Mistral AI

Licence

• Propriétaire

Accès

• La Plateforme
• Potentiellement disponible chez des Clouds providers à l'avenir

Cas d'usage

• Il est particulièrement adapté pour les tâches nécessitant des réponses rapides et des calculs moins intensifs, offrant ainsi un équilibre entre performance et coût.
• Applications mobiles,  chatbots, et systèmes embarqués où l'espace et la vitesse de traitement sont limités.
• Services en ligne nécessitant une réponse rapide et des interactions en temps réel

Points forts

• Mistral Small est conçu comme une solution optimisée pour les charges de travail à faible latence et à moindre coût.
• Officiellement, bien que plus petit en taille, Mistral Small conserve des performances élevées, surpassant d'autres modèles tels que le Mixtral 8x7B dans certains domaines.
• Ce modèle bénéficie des mêmes innovations que Mistral Large, notamment l'activation RAG (Retrieval-Augmented Generation) et l'appel de fonctions

Coût

• Cloud providers: tarification à l'usage différente suivant les services de cloud qui le distribue
• Sur La Plateforme: Input 1,85€ / million de tokens Output 5,50€ / million de tokens

Architecture et caractéristiques techniques

• Langues Anglais, français, italien, allemand, espagnol et assez fort en code
• Fenêtre de contexte: 32 000 tokens
• Mistral Small a été optimisé pour surpasser les modèles de taille similaire en termes de rapidité tout en maintenant une précision élevée.
• Mistral AI propose des endpoints (points de terminaison) à poids ouvert

Innovations et fonctionnalités

• Prise en charge de l'appel de fonctions et du formatage en JSON pour faciliter l'intégration et l'interaction avec d'autres services et bases de données.
• Optimisé pour la génération de réponses courtes et précises, ce qui le rend idéal pour les applications nécessitant des réponses instantanées.

Pour plus d'informations et pour accéder à Mistral Small, veuillez consulter la page officielle de Mistral AI où vous trouverez des détails supplémentaires sur ce modèle et comment l'utiliser efficacement dans vos projets​