Codestral, le LLM de Mistral dédidé aux développeurs

Mistral a lancé, Codestral, un LLM spécialisé dans la génération de code dans 80 langages. Ce LLM ne va pas révolutionner le paysage de l'IA, mais c'est une nouvelle étape pour Mistral puisque les LLMs changent profondément le quotidien des développeurs.

Bref rappel

Pour les LLMs, les langages de programmation (php, python, C++...) sont des langues comme celles (français, anglais...) qui nous permettent d'échanger avec eux.

Les LLMs sont, donc, capables d'écrire le code correspondant à la demande d'un utilisateur. Comme, 3/4 du temps de nombre de développeurs était (avant les LLMs) consacrés à "cracher du code", pas forcément toujours à forte valeur ajoutée, les LLMs leur permettent, donc, maintenant, non seulement de gagner du temps, mais aussi de se décharger de tâches ingrates.

Certains prédisent que dans quelques années, le développeur passera 3/4 de son temps à réfléchir (analyse, conception, résolution de problème…) et un quart de son temps à coder (c'est à peu près l'inverse aujourd'hui).

Ce n'est pas anodin car je connais un certain nombre de développeurs au top de leur expertise au bout de 5 à 10 ans d'expérience, qui ne veulent plus coder, mais coordonner (ils ont en marre de pondre du code au kilomètre).

En réalité, les LLMs peuvent être utilisés pour d'autres tâches:

• Génération de fichiers de configuration
• Génération de fonctions ou de procédures relativement courtes
• Génération de requêtes SQL, expressions régulières…
• Modification d’un morceau de code
• Correction de bugs
• Détection de failles de sécurité plus ou moins complexe
• Expliquer ce que fait un morceau de code dont a hérité le développeur
• Optimisation des performances d'un code (ressources, rapidité, pérennité...)

Les limites sont les mêmes que celles des autres usages:

- Erreurs, hallucinations

- Problèmes de confidentialité

- Réponses limitées à un certain nombre de caractères: impossible de lui demander via un seul prompt d'écrire/corriger/améliorer tout le code d'une application

Ce qui fait que les mieux placés pour exploiter les LLMs, sont les développeurs expérimentés, capables de prendre du recul sur le code proposé par le LLM.

Codestral

- Disponible en Open Source (avec les poids)

- Accessible via l'API

- Accessible via chat.mistral.ai

Déjà intégré dans certains outils utilisés par les développeurs: Jetbrains, Continue.dev, Tabnine, LlamaIndex, Langchain...

D'ailleurs, Langchain a tourné un vidéo sur un cas d'usage réel de Codemistral

Mistral insiste sur le fait que la taille de la fenêtre (32000 tokens) de Codestral, permet de repousser les limites des LLMs de même catégorie (22 milliards de paramètres).

Si certains d'entre vous utilise les LLMs pour coder, n'hésitez pas à enrichir ce post !