VASA-1 est un nouveau framework qui permet de générer des visages parlants ultra-réalistes en temps réel ! En gros, vous balancez une simple photo à cette IA, ainsi qu’un petit clip audio, et bim ! Elle vous pond une vidéo d’un visage qui parle, avec une synchronisation de la bouche nickel chrome, des expressions faciales hyper naturelles et des mouvements de tête très fluides. C’est hyper bluffant !

Les chercheurs de Microsoft ont réussi ce tour de force en combinant plusieurs techniques de pointe en deep learning. Ils ont d’abord créé un espace latent expressif et bien organisé pour représenter les visages humains. Ça permet de générer de nouveaux visages variés, qui restent cohérents avec les données existantes. Ensuite, ils ont entraîné un modèle de génération de dynamiques faciales et de mouvements de tête, appelé le Diffusion Transformer, pour générer les mouvements à partir de l’audio et d’autres signaux de contrôle.

Et le résultat est juste époustouflant. On a l’impression de voir de vraies personnes qui parlent, avec toutes les nuances et les subtilités des expressions faciales. Les lèvres bougent parfaitement en rythme avec les paroles, les yeux clignent et regardent naturellement, les sourcils se lèvent et se froncent…

En plus de ça, VASA-1 peut générer des vidéos en haute résolution (512×512) à une cadence élevée, jusqu’à 40 images par seconde, avec une latence de démarrage négligeable. Autant dire que c’est le graal pour toutes les applications qui nécessitent des avatars parlants réalistes. On peut imaginer des assistants virtuels avec lesquels on pourrait interagir de manière super naturelle, des personnages de jeux vidéo encore plus crédibles et attachants, des outils pédagogiques révolutionnaires pour apprendre les langues ou d’autres matières, des thérapies innovantes utilisant des avatars pour aider les patients… etc etc..

En plus de pouvoir contrôler la direction du regard, la distance de la tête et même les émotions du visage généré, VASA-1 est capable de gérer des entrées qui sortent complètement de son domaine d’entraînement comme des photos artistiques, du chant, d’autres langues…etc.

Bon, évidemment, il reste encore quelques limitations. Par exemple, le modèle ne gère que le haut du corps et ne prend pas en compte les éléments non rigides comme les cheveux ou les vêtements. De plus, même si les visages générés semblent très réalistes, ils ne peuvent pas encore imiter parfaitement l’apparence et les mouvements d’une vraie personne mais les chercheurs comptent bien continuer à l’améliorer pour qu’il soit encore plus versatile et expressif.

En attendant, je vous invite à checker leur page de démo pour voir cette merveille en action. C’est juste hallucinant ! Par contre, vu les problèmes éthiques que ça pourrait poser du style usurpation d’identité, fake news et compagnie, et connaissans Microsoft, je pense que VASA-1 ne sera pas testable par tous bientôt malheureusement. Mais je peux me tromper…

La chaîne d’approvisionnement est confrontée à des défis de taille, de la volatilité des marchés à la demande des consommateurs en évolution constante. Dans ce contexte complexe, l’intégration de technologies émergentes telles que l’IA, le ML et la blockchain, ouvrent la voie à une efficacité accrue, une transparence renforcée et une gestion des risques améliorée.

Les principales activités de la supply chain englobent l’approvisionnement en matières premières, la transformation et la fabrication, la gestion des stocks, la logistique et la distribution, la gestion des commandes et des fournisseurs, ainsi que le service client. Une gestion efficace de la chaîne d’approvisionnement est essentielle pour garantir la disponibilité des produits, réduire les coûts, améliorer la satisfaction client et maintenir un avantage concurrentiel sur le marché.

La blockchain, souvent associée à la cryptomonnaie, trouve également des applications dans la supply chain. En tant que registre distribué et sécurisé, elle offre une traçabilité sans précédent à chaque étape du processus d’approvisionnement. Les transactions enregistrées sur la blockchain sont immuables et transparentes, ce qui réduit les risques de fraude et de contrefaçon. Chaque acteur de la chaîne, qu’il soit fournisseur, transporteur ou distributeur, peut vérifier et enregistrer des informations en temps réel. De la provenance des produits à la gestion des stocks et des contrats intelligents, la blockchain permet ainsi d’optimiser la chaîne d’approvisionnement, de manière sécurisée et responsable.

L’IA, le machine learning et le deep learning apportent une valeur ajoutée à la chaîne d’approvisionnement en permettant une optimisation plus fine et une prise de décision proactive. Les algorithmes d’IA analysent de vastes ensembles de données pour identifier des schémas, des tendances et des anomalies dans les données de la chaîne d’approvisionnement, permettant une meilleure prévision de la demande, une gestion plus efficace des stocks et une planification logistique optimisée. De plus, l’IA peut automatiser des tâches répétitives telles que la gestion des commandes et des fournisseurs, libérant ainsi des ressources précieuses pour des activités à plus forte valeur ajoutée.

L’IA et l’automatisation peuvent contribuer à dégager davantage de valeur lorsqu’elles sont intégrées aux données fiables fournies par la blockchain.

Cas d’usage de la blockchain : IBM Food Trust pour la traçabilité des produits agroalimentaires

IBM Food Trust est une plateforme basée sur la technologie de la blockchain développée par IBM. Elle vise à améliorer la traçabilité, la transparence et la sécurité dans l’industrie alimentaire en permettant aux entreprises et aux consommateurs de suivre et de tracer les produits alimentaires tout au long de la chaîne d’approvisionnement, depuis la ferme jusqu’à la table du consommateur.

En stockant les données sur les récoltes, la transformation, l’emballage et l’expédition sur la blockchain, Food Trust permet de retracer les produits en quelques secondes seulement, alors que plusieurs jours ou semaines étaient auparavant nécessaires. Après 18 mois de tests, durant lesquels des millions de produits alimentaires individuels ont été tracés par les distributeurs et les fournisseurs, IBM l’a lancée en 2018.

Parmi les premiers utilisateurs de la plateforme, on trouve des géants de l’agroalimentaire comme Walmart, Unilever, Nestlé et Carrefour, qui visent à renforcer la confiance de leurs clients et à répondre aux exigences réglementaires en matière de sécurité alimentaire.

Nestlé, l’un des premiers à collaborer avec IBM pour la solution, a testé sa capacité à retracer les fruits et légumes de ses produits alimentaires pour bébés de la marque Gerber, l’a ensuite appliquée avec Carrefour à leur gamme de lait infantile GUIGOZ. Les clients, en scannant le QR code depuis un smartphone, peuvent accéder à l’ensemble des informations concernant le lait, son origine, les étapes de production et les contrôles qualité. Nestlé a étendu l’utilisation de la solution en 2020 pour la traçabilité de sa marque de café “Zoégas”.

Carrefour l’utilise également pour permettre à ses clients de vérifier la traçabilité de certains de ses produits frais comme le poulet, le saumon ou les œufs.

Walmart, quant à lui, utilise la solution afin de réduire la propagation des maladies d’origine alimentaire en identifiant les problèmes dans la chaîne alimentaire.

Google Research a annoncé mardi dernier TensorFlow GNN 1.0 (TF-GNN), une bibliothèque testée en production permettant de construire et entraîner des réseaux de neurones de graphes (GNN) à grande échelle.

Les graphes sont omniprésents dans de nombreux domaines, de la biologie à la finance en passant par les réseaux sociaux. Ils offrent une représentation puissante des relations entre différentes entités, mais leur exploitation efficace dans le domaine de l’apprentissage automatique est un défi de taille.

Les GNN permettent d’exploiter à la fois la connectivité et les caractéristiques des nœuds et des arêtes d’un graphe. Ils peuvent faire des prédictions pour des graphes entiers, des nœuds individuels ou des arêtes potentielles. Ils peuvent également encoder l’information discrète et relationnelle d’un graphe de manière continue, afin de l’intégrer dans un autre système d’apprentissage profond.

TF-GNN supporte à la fois la modélisation et l’entraînement en TensorFlow, la bibliothèque open-source développée par Google, l’une des plus populaires pour l’apprentissage automatique et le deep learning en raison de sa flexibilité, de sa richesse en fonctionnalités et de sa communauté active, ainsi que l’extraction de graphes d’entrée à partir de vastes bases de données.

Il est conçu dès le départ pour les graphes hétérogènes, où les types d’objets et de relations sont représentés par des ensembles distincts de nœuds et d’arêtes.

TF-GNN propose une API Python flexible pour configurer l’échantillonnage de sous-graphes, qui consiste à extraire des sous-graphes de taille raisonnable du graphe sous-jacent pour créer des exemples d’entrée pour l’entraînement des GNN. L’échantillonnage peut se faire de manière dynamique ou par lots, à différentes échelles : interactivement dans un notebook Colab, de manière efficace pour un petit ensemble de données en mémoire, ou distribuée par Apache Beam pour des ensembles de données énormes stockés sur un système de fichiers réseau.

TF-GNN fournit également une collection de modèles prédéfinis et un modèle template hautement configurable, exprimés en couches Keras. Les modèles peuvent être entraînés sur une seule tâche ou sur plusieurs tâches en même temps, de manière supervisée ou non supervisée. Il inclut aussi une implémentation des gradients intégrés pour l’attribution des modèles.

Cette bibliothèque marque une avancée significative dans le domaine de l’apprentissage sur les graphes. En permettant une manipulation facile et efficace des graphes hétérogènes, elle ouvre de nouvelles perspectives pour l’application des réseaux de neurones dans des domaines variés, de la recommandation de produits à l’analyse de réseaux sociaux. L’équipe Tenserflow de Google espère qu’elle sera utile pour faire progresser l’application des GNN dans TensorFlow à grande échelle et alimenter de nouvelles innovations dans ce domaine.

Pour en savoir plus, consultez sa Démo de Colab avec le benchmark populaire OGBN-MAG (dans votre navigateur, aucune installation requise), son guide d’utilisation et Colabs.

Références de l’article : blog Google Research

La version 1.0 de TF-GNN est le fruit d’une collaboration entre Google Research : Sami Abu-El-Haija, Neslihan Bulut, Bahar Fatemi, Johannes Gasteiger, Pedro Gonnet, Jonathan Halcrow, Liangze Jiang, Silvio Lattanzi, Brandon Mayer, Vahab Mirrokni, Bryan Perozzi, Anton Tsitsulin, Dustin Zelle,  Google Core ML : Arno Eigenwillig, Oleksandr Ferludin, Parth Kothari, Mihir Paradkar, Jan Pfeifer, Rachael Tamakloe et Google DeepMind : Alvaro Sanchez-Gonzalez et Lisa Wang.

Vous pouvez retrouver leur papier “TF-GNN:Graph Neural Networks in TensorFlow” sur arXiv : https://doi.org/10.48550/arXiv.2207.03522