XGEN7B, LLM OpenSource concurrent de GPT, créé par Salesforce
Salesforce a lancé son propre LLM Opensource, dénommé XGEN7B.
Son gros point fort par rapport aux autres LLMs de la même catégorie est qu'il est capable de traiter des requêtes plus longues.
Traduction: il permet de créer rédiger des textes plus longs ou d'analyser des textes plus longs.
Sur des benchmarks NLP standards, XGen obtient des résultats comparables à ceux des LLMs open-source performants comme MPT, Falcon, LLaMA, Redpajama, OpenLLaMA) d'une taille de modèle similaire (c'est à dire autour de 7 milliards de paramètres et non 175 milliards comme GPT 3.5
Selon les équipes de Salesforce, leurs deux modèles à 4k et à 8K, montrent leur supériorité, lorsqu'on les soumet aux tests standard, sur les modèles reposant sur 2000 et 4000 tokens.
XGen-7B obtiendrait des résultats aussi bons dans les tâches de traitement de textes (MMLU, QA) et de génératon de code (HumanEval).
Coût de l'entraînement: 150 000 $ sur 1T tokens selon la tarification de Google Cloud pour TPU-v4.
Alors que les LLM deviennent omniprésents, leurs capacité à traiter de longues séquences (générer ou analyser de longs textes) pose des défis, en particulier, pour les applications telles que le résumé de texte (potentiellement combiné avec d'autres sources de données telles que des tableaux et des images), la génération de code et la prédiction de séquences de protéines, qui exigent que le modèle prenne en compte efficacement les dépendances structurelles sur de longues distances. Un contexte large permet à un LLM pré-entraîné d'examiner les données des clients (par exemple, les documents que le LLM n'a pas utilisés lors de l'entraînement) et de répondre à des requêtes utiles de recherche d'informations.
Résultat des tests de XGEN-7B contre d'autres LLM OpenSource
Plus d'infos
Annonce officielle de Salesforce
Le code de XGEN7B
Matériel nécessaire
Inconnu
Pourquoi Salesforce lance-t-il un LLM Opensource ?
Salesforce rejoint le groupe des créateurs de LLM OpenSource, un LLM très intéressant à 8000 tokens avec son modèle XGEN-7B. Que cela signifie-t-il et pourquoi Salesforce publie-t-il un LLM Opensource ?
Les deux avantages de XGEN-7B (selon la communication officielle de Salesforce)
1/ Comme tous les LLMs Opensource, il permet à une entreprise de disposer son propre ChatGPT en interne, ce qui lui garantit la confidentialité, lui permet de réduire les coûts d'usage et potentiellement de développer une technologie sur mesure,
2/ XGEN-7B, sait générer ou analyser des textes plus longs que les autres LLM avec ses séquences de 8000 tokens. C'est le gros avantage de ce nouveau LLM Opensource.
C'est important car si, en théorie, l'API de ChatGPT peut analyser des documents, dans la pratique, dès que ces documents deviennent un peu tout petit peu longs, c'est l'enfer. (ceux qui utilisent l'API d'OpenAI savent que c'est un gros problème, actuellement.
Mais pourquoi Salesforce développe-t-il son propre LLM et en plus, en Opensource ?
1ere explication: stratégie
l'IAG est considérée comme clé par de nombreux acteurs.
Avoir la connaissance et la maîtrise de cette techno est perçu comme stratégique par de nombreux acteurs
2eme explication: essentiel pour les produits de Salesforce
A ma connaissance, les deux principaux usages de l'API d'OpenAI sont la génération de texte et le CRM (notamment les chatbots)
Ces deux usages intéressent, donc, les clients CRM de Salesforce, mais aussi les clients ecommerce (pour remplir plus vite les descriptifs produits, par exemple).
3eme explication: la marque employeur et la marque tout court
Même si la chasse aux ingénieurs a perdu en intensité, ces derniers mois, sur le moyen, l'attractivité du recruteur Salesforce est lié à sa maîtrise des technologie à la mode et sa contribution l'Open Research. Pour la communication financière, montrer que Salesforce est dans le peloton de tête de l'IAG, ne fait pas de mal non plus.
4eme explication: agréger une communauté de développeurs
En rendant une technologie Opensource, on se donne les moyens d'attirer des développeurs "bénévoles" qui aideront à faire évoluer le logiciel plus rapidement et qui permettront peut-être aussi de faire de cette technologie un standard.
