AMD a partagé sur son blog des guides expliquant étape par étape comment télécharger et exécuter un bot de chat en local sur les PC Ryzen AI ou les cartes graphiques Radeon, activer la RAG (Retrieval Augmented Generation) afin d’améliorer et de fournir un contexte avec un grand modèle de langage (LLM – Large Language Model) ou encore utiliser un LLM local afin de coder en toute confiance.

L’exécution locale de ces applications permet de préserver la confidentialité de vos données sur votre PC équipé d’une puce IA et fonctionne même sans connexion internet.

Comment exécuter un LLM sur votre PC AMD Ryzen AI ou votre carte graphique Radeon ?

Pour créer votre propre chatbot IA, suivez les instructions ci-dessous :

Téléchargez la bonne version de LM Studio et exécutez le fichier :

• Pour les processeurs AMD Ryzen : LM Studio-Windows
• Pour les cartes graphiques AMD Radeon RX série 7000 : LM Studio –  Aperçu technique ROCm™

Dans l’onglet de recherche, copiez et collez l’un des 2 termes de recherche suivants en fonction de ce que vous souhaitez exécuter :

• Si vous souhaitez exécuter Mistral 7b, recherchez : « TheBloke/OpenHermes-2.5-Mistral-7B-GGUF » et sélectionnez-le dans les résultats sur la gauche. Ce sera généralement le premier résultat.
• Si vous souhaitez exécuter LLAMA v2 7b, recherchez : « TheBloke/Llama-2-7B-Chat-GGUF » et sélectionnez-le dans les résultats sur la gauche. Ce sera généralement le premier résultat.
• Vous pouvez également expérimenter d’autres modèles ici.

Dans le panneau de droite, faites défiler vers le bas jusqu’à ce que vous voyiez le fichier de modèle Q4 K M. Cliquez sur Télécharger.

AMD recommande Q4 K M pour la plupart des modèles équipés de Ryzen AI. Attendez la fin du téléchargement.

Allez dans l’onglet chat. Sélectionnez le modèle dans le menu déroulant central en haut au centre et attendez qu’il finisse de se charger.

Si vous avez un PC AMD Ryzen AI, vous pouvez commencer à discuter !

Si vous avez une carte graphique AMD Radeon :

• Cochez “GPU Offload” sur le panneau latéral droit.
• Déplacez le curseur jusqu’à “Max”
• Assurez-vous qu’AMD ROCm s’affiche comme le type de GPU détecté.

AMD a comparé les performance de Ryzen AI par rapport au Core Ultra 7 155H. Les tests montrent que Ryzen AI le surpasse dans la génération de contenu, y compris la programmation, avec des vitesses plus rapides sur un chatbot IA LLM.

• Pour les tokens par seconde, Ryzen AI est jusqu’à 17 % plus rapide sur Mistral Instruct et jusqu’à 14 % plus rapide sur LLAMA v2 Chat ;
• En ce qui concerne le temps nécessaire pour obtenir le premier token, Ryzen AI est jusqu’à 41 % plus rapide sur Mistral Instruct et jusqu’à 79 % plus rapide sur LLAMA v2 Chat.

Dans son blog, AMD explique également comment activer la RAG sur un PC AMD Ryzen AI ou une carte graphique Radeon.

Le Health Data Hub, plateforme de données de santé des patients français lancée en 2019, a choisi Microsoft Ireland pour héberger ces données particulièrement sensibles sur Azure. Choix qui a été loin de faire l’unanimité et bien qu’il ait été conforté en décembre dernier par la CNIL, plusieurs sociétés, associations et particuliers dont Clever Cloud, Cleyrop, Nexedi, Rapid.Space, l’Open Internet Project, l’Association de défense des libertés constitutionnelles et Bernard Benhamou de l’Institut de la souveraineté numérique ont décidé de saisir le Conseil d’Etat.

Le Health Data Hub a été créé pour permettre de croiser les bases de données de santé (système national des données de santé, données collectées auprès des hôpitaux, des médecins…) et faciliter leur utilisation par les nombreuses équipes de recherche et de développement avec un respect total de la vie privée des usagers du système de santé.

Le ministère de la Santé et de la Prévention et la CNIL privilégiaient à l’origine un hébergeur européen mais le ministère ayant considéré qu’il n’y avait pas de solutions européennes opérationnelles avant 2025, Microsoft Azure, qui avait été choisi comme hébergeur cloud sans appel d’offres, est amené à le rester pour quelque temps encore. Le problème est que même si ces données sont stockées dans des datacenters situés en France, Microsoft est basé aux Etats-Unis et sa filiale irlandaise est soumise au droit américain, ce qui implique la possibilité légale de demandes de communication des données par l’administration des Etats-Unis.

Dès 2020, la CNIL a exprimé des préoccupations concernant le risque de transfert de données vers les États-Unis. Des requérants, associations et professionnels, ont alors saisi le Conseil d’Etat d’un recours demandant la suspension du Health Data Hub. Dans son ordonnance du 13 octobre 2020, le Conseil d’État reconnaissait l’existence d’un risque de transfert de données issues du Health Data Hub vers les États-Unis et demandait des garanties supplémentaires, mais, au regard de son utilité pour la gestion de la crise sanitaire, refusait de suspendre le fonctionnement de la plateforme.

Le projet EMC2

Le Health Data Hub a remporté fin 2021 l’appel d’offres lancé par l’Agence européenne du médicament (EMA) visant à constituer un entrepôt de données de santé multi-centrique afin de permettre aux établissements de santé, aux institutions publiques, aux associations de patients ou encore aux agences européennes comme l’EMA de réaliser des recherches, des études et des évaluations. Cet entrepôt de données de santé dénommé “EMC2” est alimenté par les données de 4 établissements de santé partenaires avec un appariement à la base principale du Système National de Données de Santé (SNDS).

S’appuyant sur les avis de la DNS (Délégation au numérique en santé), l’Agence du Numérique en Santé (ANS), la Direction Interministérielle du Numérique (DINUM) et l’Institut National de Recherche en Informatique et en Automatique (INRIA), la CNIL a rendu en décembre dernier un avis favorable sur la capacité du Health Data Hub à gérer ce projet et l’a autorisé à mettre en œuvre le traitement automatisé de données à caractère personnel ayant pour finalité la constitution de cet entrepôt de données de santé.

Ce qui sous-entend que Microsoft va héberger pendant trois ans de nombreuses informations médicales de 300 000 à 600 000 patients français au grand dam des entreprises françaises et européennes qui seraient légitimes sur ce marché.

Clever Cloud, Cleyrop, Nexedi, Rapid.Space, l’Open Internet Project, l’Association de défense des libertés constitutionnelles et Bernard Benhamou demandent l’annulation de la décision de la CNIL, ou du moins la transmission d’une question préjudicielle à la CJUE, La Cour de justice de l’UE.

L’affaire sera traitée en audience publique le 19 mars à 11h, une conférence de presse sera organisée en présence des requérants le 18 mars à 8h30 au café le Concorde, à Paris.