Créer un chatGPT français: c'est possible ?
[Help] Pouvez-vous m'aider à identifier des entreprises/écoles intéressées par la création d'un ChatGPT français basique ? C'est théoriquement possible: des chercheurs de Stanford viennent de le faire sur base d'une ingénieuse combinaison d'un modèle Open Source et de fine tuning, comme je l’expliquais hier.
Paris, 23 Mars 2023
Pourriez-vous me mettre en contact avec des contacts intéressés par la création d'un ChatGPT ?
Vous pouvez me contacter via mon profil Linkedin et le formulaire de contact.
J'ai acquis la conviction en novembre que l'Europe/la France devait disposer d'un concurrent à ChatGPT pour
🏪 éviter que la "destruction créatrice" détruisent des emplois en France et en crée aux US
🏪 que nous contrôlions cette technologie clé pour la productivité de nos entreprises de demain
🏪 que nous exportions ces technologies afin de rééquilibrer notre commerce extérieur
🏪 éviter que la valeur ajoutée soit (encore davantage) aspirée par les fournisseurs de technos américaines.
Évidemment, j'entends que nous, français, serions trop bêtes, trop petits et trop pauvres pour créer un GPT.
Un de mes contacts Linkedin m’a dit hier que l’entrainement de GPT4 aurait coûté 1 milliard de dollars.
Mais…
Des chercheurs de Stanford viennent de créer un GPT avec moins de 1000 dollars, comme je l'écrivais hier.
Comment j'imagine que des français pourraient créer un GPT comme l'a fait Stanford
1. Utiliser le language model open Source LLamA B7 de Meta, c'est le plus petit et le moins couteux des modèles LLaMA, mais qui est tout de même un LLM comme GPT.
Cela permet de disposer d'un outil qui a "acquis des connaissances" après avoir digéré des millions de documents
En revanche, l'outil doit encore apprendre à répondre correctement aux questions qui lui sont posées.
2. Demander au GPT d'OpenAI de fournir des milliers de couples "Prompt/réponse" afin que que le modèle apprenne comment bien répondre à une question ("Méthode Stanford")
3. Finetuner le modèle avec les milliers d’exemples de questions/réponses
L’objectif serait dans un 1er temps de reproduire un prototype, qui réponde à correctement à des questions simples.
La philosophie du projet que j’imagine
Réunir des entreprises, éditeurs de logiciels, écoles, freelances intéressés à explorer cette méthode, qui mettraient en commun compétences techniques, contributions financières, temps pour éduquer, affiner, tester et sécuriser le modèle,
- On se laisse 3 mois pour créer, ensemble, un démonstrateur qui tourne, sur base de la « méthode Stanford »
- Ni moi, ni mes deux sociétés ne revendiqueraient de droits de propriété que le démonstrateur
- 100% de chances que nous en apprenions plus sur ces technos.
50% de chances que nous permettions à des sociétés de lancer des produits reposant sur cette techno.
0,1% de chances que nous identifions une stratégique technique pour créer un système à la hauteur de ChatGPT.
