Comme attendu, Meta a partagé hier deux premiers modèles de la famille Llama 3 : Llama 3 7B et Llama 3 70B, qui seront suivis dans les prochains mois par des modèles allant jusqu’à 400 milliards de paramètres. Ces deux modèles open source, d’ores et déjà intégrés dans son assistant Meta AI disponible sur ses réseaux sociaux dans certains pays anglophones, sont présentés par Meta comme les meilleurs modèles existants à leur échelle. 

Selon la société, les améliorations apportées par rapport à Llama 2 ont considérablement réduit les taux de faux refus, perfectionné l’alignement et accru la diversité des réponses. Llama 3 présente en outre des capacités de raisonnement et de génération de code améliorées.

Meta a comparé les performances de ces modèles dans les benchmarks de référence Llama 3 7B avec Gemma de Google, Mistral 7 B de Mistral AI, et Llama 3 70 B avec Gemini Pro 1,5 de Google et Claude 3 Sonnet d’Anthropic.

L’ensemble de données de pré-entrainement de Llama 3 totalise plus de 15 téraoctets de jetons de données publiques, soit 7 fois plus que celui de Llama 2 et comprend quatre fois plus de code. Pour anticiper les futurs cas d’utilisation multilingues, plus de 5 % de ces données ne sont pas anglaises, couvrant plus de 30 langues. Même si elles sont de haute qualité, Meta reconnaît que les performances dans ces langues peuvent varier par rapport à l’anglais.

Des améliorations ont également été apportées au niveau architecture. Llama 3 utilise un tokenizer avec un vocabulaire de 128 000 jetons qui encode le langage beaucoup plus efficacement. Pour optimiser le processus d’inférence des modèles Llama 3, l’approche d’attention des requêtes groupées (Group Query Attention ou GQA) a été mise en œuvre pour les versions de 8B et 70B. Les modèles ont été entraînés sur des séquences de 8192 tokens, avec l’application d’un masque spécifique assurant que l’attention accordée reste confinée aux frontières du document.

Les deux modèles seront bientôt disponibles sur AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM et Snowflake.

Meta annonce pour les prochains mois plusieurs modèles multimodaux, avec une prise en charge de plusieurs langues, une fenêtre contextuelle plus longue, ainsi que des capacités globales plus robustes. Il donne un aperçu de Llama 3 400B, le plus grand modèle de la famille dont il poursuit l’entraînement.

Les poids de Llama 3 et le générateur de jetons sont téléchargeables sur GitHub.

Elon Musk avait annoncé la semaine dernière que Grok, le chatbot IA développé par sa startup xAI, serait désormais open source. C’est chose faite : les poids du modèle de fondation qui l’alimente, Grok-1, ainsi que son architecture ont été publiés hier sur GitHub. Il est également possible de retrouver les poids du modèle depuis ce matin via un fichier torrent sur X.

En juillet dernier, Elon Musk annonçait le lancement de xAI, qui avait été enregistrée au Nevada le mois de mars précédent. Onze experts en IA, travaillant auparavant chez DeepMind, OpenAI, Google Research, Microsoft Research, Tesla et l’Université de Toronto, étaient venus complétés son équipe, basée en Californie.

Elon Musk affirmait que Grok était la meilleure IA générative existant alors, soulignant que “Grok a accès en temps réel aux infos via X, ce qui lui donne un avantage majeur sur les autres modèles”. Le chatbot est disponible depuis fin 2023 pour les abonnés X Premium+, sensé leur répondre avec humour et sans filtre.

Sur son blog, XAI explique que la version de Grok publiée en open-source, est un modèle de mélange d’experts (MoE) de 314 milliards de paramètres formé à partir de zéro. Il s’agit du point de contrôle du modèle de fondation brut de la phase de pré-formation Grok-1, qui s’est terminée en octobre 2023, ce qui signifie que le modèle n’est pas affiné pour une application spécifique, telle que le dialogue.

Il a été publié sous licence Apache 2.0, les développeurs peuvent donc le modifier et le redistribuer à leur gré.

Pourquoi le choix de l’open source ?

Lorsqu’Elon Musk a cofondé OpenAI en 2015 avec notamment Sam Altman, c’était en tant qu’organisation à but non lucratif visant à développer des intelligences artificielles générales bénéfiques à l’humanité. Sa charte stipule : “Nous tenterons de construire directement des AGI sûres et bénéfiques, mais considérerons également notre mission comme remplie si notre travail aide les autres à atteindre ce résultat”.

Elon Musk, qui l’a quitté en 2018, a déposé plainte début mars contre OpenAI et Sam Altman pour non-respect de l’accord initial à l’origine de la création de l’association, GPT-4 étant un modèle fermé. Elon Musk s’est alors vu reprocher une certaine ambivalence et hypocrisie du fait que Grok l’était aussi. Le 11 mars dernier, il a donc annoncé l’ouverture du modèle.