Selon Challenges, avant de faire l’acquisition de DarwinAI  en début d’année, Apple aurait fait en décembre dernier celle de Datakalab, une start-up d’IA parisienne spécialisée désormais dans la compression d’algorithmes et l’IA embarquée. Le montant de la transaction, qui n’a d’ailleurs pas été confirmée par Apple, n’a pas été divulgué. 

Créée en 2016 par les frères Xavier et Lucas Fischer, Datakalab faisait partie des start-ups accompagnées par la région Ile-de-France au CES Las Vegas 2019. Alors spécialisée dans l’analyse des émotions des consommateurs grâce aux neurosciences et au deep learning, son objectif était de permettre aux marques de mieux comprendre et répondre aux attentes de leur clientèle.

La technologie de la braintech a été mise à contribution pour mesurer les réactions émotionnelles lors de visionnage de bandes-annonces par Disney et Médiametric. En 2020, alors que la pandémie de Covid-19 sévissait, elle a été expérimentée à Paris par la RATP pour détecter le port du masque, la ville de Cannes l’a également testée pour ses espaces publics et ses bus.

Avant son acquisition, l’équipe de Datakalab comptait une dizaine d’experts, dont plusieurs chercheurs venus des écoles Centrale, Polytechnique ou de l’Université de la Sorbonne. Une partie d’entre eux a rejoint Apple, contrairement à ses cofondateurs.

On peut lire désormais sur son profil LinkedIn :

“Compression de pointe et adaptation pour déployer une vision par ordinateur embarquée qui est rapide, rentable et précise ! La recherche et le développement de pointe sont dans notre ADN. Avec plus de 9 articles de recherche et 3 brevets en attente, nos scientifiques et chercheurs travaillent sans relâche pour repousser les limites dans l’accélération et la compression sans perte de l’IA”.

Les solutions d’IA embarquée de Datakalab  pourraient être très utiles à Apple dans le cadre de la mise à jour d’IOS 18 qui devrait être dévoilée lors de sa conférence annuelle, la Worldwide Developers Conference (WWDC) le 10 juin prochain. La prochaine génération de puces M4 qui alimenteront les Mac y tiendra une place centrale tout comme l’IA générative qui alimentera ses iphones. Mais selon Mark Gurman, journaliste à Bloomberg :

“Alors que le monde entier attend la grande présentation de l’IA d’Apple le 10 juin, il semble que la première vague de fonctionnalités fonctionnera entièrement sur l’appareil”.

Le site web de Datakalab est désormais fermé et bien que l’acquisition n’ait pas été confirmée, elle aurait, selon Challenges, été indiquée à la Commission européenne.

La semaine dernière, Bloomberg révélait qu’Apple avait racheté en début d’année DarwinAI, une startup canadienne spécialisée dans la computer vision. Son produit phare, une plateforme baptisée GenSynth, permet de générer des modèles allégés à partir de réseaux neuronaux. Un domaine dans lequel Apple comble peu à peu son retard puisqu’après Ferret, MM1 a lui aussi été présenté dans un article de recherche sur arXiv, le 14 mars dernier.

Basée à Waterloo, au Canada, DarwinAI a été cofondée en 2017 par quatre diplômés en génie de l’Université de Waterloo, Alexander Wong, Sheldon Fernandez, Mohammad Shafiee et Arif Virani. Cherchant à améliorer l’efficacité de la production d’assemblages de circuits imprimés pour l’industrie de la fabrication électronique, elle a développé GenSynth, une solution d’inspection visuelle de la qualité alimentée par l’IA.

La plateforme s’appuie sur le machine learning pour comprendre l’architecture des réseaux neuronaux. L’IA génère ensuite de nouveaux réseaux neuronaux fonctionnellement équivalents mais plus petits et plus rapides.

Cette technologie brevetée découle d’années de recherche (+600 articles de recherche et prix) dirigées par l’un des cofondateurs de la start-up, Alexander Wong, aujourd’hui titulaire de la Chaire de recherche du Canada dans le domaine de l’IA et professeur à l’Université de Waterloo. Il a d’ailleurs déjà rejoint, tout comme certains de ses collaborateurs, les rangs de la division IA d’Apple.

Sheldon Fernandez, PDG et cofondateur de DarwinAI, explique :

“Nous pouvons permettre l’IA à la périphérie pour les appareils mobiles et les clients qui ont besoin de mettre de puissants réseaux neuronaux dans les voitures, les montres, les avions et d’autres domaines”.

Apple a confirmé l’acquisition, mais comme à son habitude, n’a pas voulu donner plus de détails. Elle devrait permettre à la société qui, selon son PDG Tim Cook, mise sur cette année sur l’IA générative, de l’aider à apporter de nouvelles fonctionnalités d’IA à ses smartphones, son assistant Siri… Cependant, Apple, consciente du retard pris, serait, selon le journaliste Mark Gurman de Bloomberg, en pourparlers avec Google afin d’intégrer Gemini dans le cadre de la mise à jour d’iOS 18.

Le modèle multimodal MM1

Dans leur article de recherche intitulé “MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training”, les chercheurs d’Apple présentent leur approche pour développer des modèles multimodaux performants mais également plus flexibles.

Leur démarche visait à étudier l’importance de différents composants architecturaux et du choix de données. Pour ce faire, ils ont réalisé des ablations exhaustives de l’encodeur d’image, du connecteur langage-vision et de divers choix de données de pré-entraînement.

Ils ont ainsi démontré que pour le pré-entraînement multimodal à grande échelle, l’utilisation d’un mélange judicieux de données image-légende, d’images et de texte entrelacés, ainsi que de données texte seulement, était cruciale pour obtenir des résultats de pointe en apprentissage à partir de peu d’exemples (few-shot) sur plusieurs référentiels, comparés à d’autres résultats de pré-entraînement précédemment publiés.

De plus, ils ont constaté que l’encodeur d’image, conjointement avec la résolution de l’image et le nombre de jetons d’image, avait un impact substantiel, tandis que la conception du connecteur vision-langage était d’une importance relativement négligeable.

En extrapolant leurs résultats, les chercheurs ont développé MM1, une famille de modèles multimodaux allant jusqu’à 30 milliards de paramètres. Elle comprend à la fois des modèles denses et des variantes de mélange d’experts (MoE), qui se sont avérés être les meilleurs modèles dans les mesures de pré-entraînement et ont atteint des performances compétitives après un affinement supervisé (SFT) sur une gamme de référentiels multimodaux établis.

Pour l’affinement supervisé, les chercheurs ont collecté environ 1 million d’exemples SFT à partir d’un ensemble diversifié de jeux de données. Celui-ci comprenait notamment des paires d’instructions-réponses générées par GPT-4 et GPT-4V, LLaVA-Conv et LLaVA-Complex pour les conversations et le raisonnement complexe, ainsi que ShareGPT-4V pour des descriptions d’images détaillées, des ensembles de données vision-langage académiques et des données SFT uniquement textuelles. Les différents ensembles ont été mélangés et échantillonnés de manière aléatoire pendant l’entraînement.

Les modèles obtenus MM1-3B-Chat, MM1-7B-Chat et MM1-30-B ont affiché de solides performances tout comme les modèles utilisant un cadre MoE, 3B-MoE et 6B-MoE.

Pour les chercheurs d’Apple, “Grâce à une pré-formation à grande échelle, MM1 bénéficie de propriétés attrayantes telles qu’un apprentissage amélioré en contexte et un raisonnement multi-images, permettant une chaîne de pensée en quelques étapes”