DotAI 2024, en quelques mots !

Stanislas Polu a discuté du rôle de game-changer de l’IA dans la société, en faisant un parallèle entre l’évolution des modèles de deep learning (d’AlexNet à GPT-4) et le passage d’une société pré-IA à une société post-IA.

Il a questionné l’efficacité des LLMs actuels, en suggérant que des modèles capables de raisonner plus profondément sont nécessaires.

Il a présenté la plateforme DUST, qui permet de créer des assistants IA sur mesure pour améliorer la productivité dans les environnements professionnels.
Il a insisté sur l’importance du développement produit et infrastructure pour permettre à l’IA de libérer son plein potentiel.

Points clés :
– Collaborations Humain-IA : Il est essentiel de maintenir une supervision humaine pour équilibrer l’automatisation et la responsabilité.
– Call-to-Action : Investir dans le développement de produits et d’infrastructures est crucial pour exploiter pleinement les capacités des IA.

Ines Montani a exploré l’évolution des méthodes d’instruction des machines, de systèmes basés sur des règles aux modèles d’apprentissage profond, et plus récemment aux grands modèles de langage (LLM).

Ces LLM, comme GPT-4, offrent des avantages pour le prototypage rapide, mais posent aussi des problèmes d’efficacité et de confidentialité.

Elle a présenté spaCy LLM, une extension modulaire permettant un développement indépendant et un déploiement dans des environnements privés, garantissant à la fois performance et sécurité des données.

Elle a souligné l’importance des systèmes human-in-the-loop pour maintenir la précision des modèles et a illustré des cas d’usage industriels chez S&P Global et GitLab.

Points clés :
– Modèles Modulaires : La modularité dans les modèles permet une meilleure gestion de l’efficacité et de la confidentialité.
– Confidentialité des Données : Les composants modulaires permettent d’assurer la confidentialité des données sensibles.
– Call-to-Action : Elle appelle les développeurs à refactoriser leurs applications pour les adapter à l’utilisation de l’IA générative.

Yann Léger a mis en évidence les défis liés aux infrastructures IA, en particulier la sous-utilisation des GPU et l’inefficacité des déploiements d’inférence.
Alors que la consommation d’énergie liée à l’infrastructure IA devrait augmenter de 500 % au cours des quatre prochaines années, il a plaidé pour des solutions d’optimisation matérielle et logicielle pour une meilleure gestion des ressources.

Il a également proposé le paradigme serverless comme un modèle d’avenir pour les appareils IA natifs, permettant une mise à l’échelle automatique des ressources et réduisant les coûts liés à l’inférence.

Points clés :
– Optimisation des Infrastructures : Nécessité d’optimiser les infrastructures pour une meilleure utilisation des GPU et une réduction de la consommation d’énergie.
– Paradigme Serverless :
Ce modèle pourrait devenir un pilier central des conceptions d’appareils IA dans les prochaines années.

Pierre Stock a abordé le développement de modèles d’IA spécifiques aux appareils edge, mettant en avant leur importance pour garantir la confidentialité des données et l’efficacité sur des tâches spécifiques.
Il a cité des modèles comme Mistral et Ministral 3B, optimisés pour fonctionner dans des environnements contraints en mémoire.

Les techniques de quantification sont essentielles pour adapter ces modèles aux appareils edge tout en maintenant la précision.
Pour lui, les agents capables d’appeler des fonctions de manière native sont considérés comme la prochaine étape importante.

Points clés :
– Modèles Edge : Les dispositifs edge continueront de jouer un rôle central dans le déploiement des modèles d’IA, en raison de leur ubiquité et de leur capacité à préserver la confidentialité des données.
– Quantification et Optimisation : Les techniques de quantification permettent d’adapter les modèles aux contraintes des appareils edge tout en assurant la performance.

Lors de ce talk, les 2 intervenants nous ont présenté le nouvel assistant de consultation développé par Doctolib.

Par le biais d’une démo, ils nous ont montré la pertinence de déléguer la prise de note pour enrichir le dossier médical des patients à une IA dédiée.

De plus, ils ont montré le processus d’interaction avec l’assistant afin d’anonymiser les données et de ne conserver que les pertinentes, garantissant ainsi la confidentialité.

Une application de l’IA des plus pertinentes dans ce contexte !

Romain Huet et Katia Gil Guzman ont présenté les derniers développements d’OpenAI, en mettant en lumière l’ouverture d’un nouveau bureau à Paris, avec pour objectif de soutenir l’intelligence générale artificielle (AGI) tout en collaborant avec les développeurs.

Ils ont introduit des améliorations significatives à GPT-4, notamment en matière de multimodalité.

Le point central de leur présentation a été l’API en temps réel d’OpenAI (Realtime API), offrant une latence ultra-faible, permettant des interactions naturelles de type speech-to-speech.
L’API est déjà disponible en Europe et permet le développement d’applications IA multimodales simplifiées.

Points clés :
– API en temps réel : Permet de créer des expériences IA naturelles, avec une intégration simple et rapide dans les applications.
– Sécurité et Responsabilité : OpenAI met un accent fort sur la sécurité et les bonnes pratiques pour prévenir tout usage abusif de sa technologie.

Neil Zeghidour a fait sensation avec son talk durant lequel il a présenté le fruit du laboratoire de recherche Kyutai, Moshi.

Le modèle Moshi représente une avancée en matière de conversations en duplex intégral en temps réel, atteignant une latence théorique de 160 à 200 ms, ce qui permet de parler et d’écouter simultanément.

Les développeurs de Moshi ont également introduit des techniques de quantification pour assurer une qualité audio optimale tout en rendant le modèle plus léger.

Points clés :
– Inner Monologue : Moshi prédit des jetons textuels avant les jetons audio, améliorant la qualité linguistique du discours généré.
– Quantification : La compression du modèle a permis une meilleure efficacité tout en maintenant une bonne qualité audio.

Eliot Andres est intervenu pour nous présenter le positionnement de Photoroom dans l’ecosystème IA actuel.

Contrairement à beaucoup des entreprises faisant de l’IA, Photoroom, plutôt que de partir d’un modèle existant, a développé son propre modèle de calcul répondant à leurs besoins et contraintes de manière plus précise.

Ainsi, il évoque la dimension « coût », notamment énergétique et matérielle, d’un tel chantier pour une entreprise. Et comme on pouvait l’imaginer, ceux-ci sont importants.

Il fait aussi le parallèle avec les gains que cela apporte malgré tout.
La précision, la pertinence, la rapidité et la liberté sont les principaux avantages qui ressortent de son discours.

Gaël Varoquaux a mis en évidence l’importance des données tabulaires dans les entreprises, soulignant que, malgré les avancées en matière d’IA dans d’autres domaines, les données tabulaires restent au cœur de nombreuses organisations.
Il a souligné que 80 % du temps des data scientists est consacré à la préparation des données, une tâche souvent laborieuse et répétitive.

Le projet skrub vise à faciliter ce processus en réduisant la charge liée au « data wrangling » et en permettant aux data scientists de se concentrer davantage sur l’analyse et la modélisation des données.

Points clés :
– Contexte des Données : Il est crucial de comprendre le contexte dans lequel les données sont générées pour en tirer des insights significatifs.
– Skrub : Ce projet réduit les efforts nécessaires à la préparation des données tabulaires, libérant du temps pour les analyses plus complexes.

Dans son intervention, Meryem Arik a mis en avant le besoin d’assurer la structure dans les sorties des modèles de langage.

Bien que la créativité de ces modèles soit valorisé, la fiabilité des sorties structurées (ex: JSON) est cruciale pour des applications « industrielles ».

Le « Prompt Engineering », bien que largement utilisé, connaît bien des limites dans certains cas où des résultats plus fiables/robustes sont nécessaires.

La « constrained generation » a donc été présentée comme une solution puissante pour garantir la structure des résultats.
Cette technique permet de filtrer les tokens « illégaux », s’assurant que les sorties adhèrent à une structure prédéfinie.

Points clés :
– Exactitude à 100% : Dans les environnements où des workflows dépendent de données structurées, toute inexactitude peut perturber les processus.
– Flexibilité et adaptabilité : Les ajustements peuvent être faits en tems réel, permettant plus de souplesse dans le contrôle du comportement des modèles.

Durant ce talk, Steeve Morin a présenté ZML, un framework de ML développé en Zig.
Ce projet a pour but de simplifier la gestion et l’exécution des modèles de ML.
Il offre une manière plus efficace et optimisée d’exécuter des modèles d’inférence, tout en s’appuyant sur la puissance et la flexibilité du langage Zig.

ZML se distingue par son approche modulaire et sa capacité à s’adapter aux besoins des développeurs de systèmes d’IA haute performance.
De plus, il fournit une vaste gamme de chips comme target final, permettant aux équipes de se concentrer en priorité sur l’innovation plutôt que sur les détails techniques de l’infrastructure et leurs limitations.

Marjolaine Grondin a illustré l’usage de l’IA dans ses activités professionnelles et personnelles.
Elle a mis en avant un agent IA personnalisé, qu’elle appelle son « co-fondateur personnel », capable de lui donner des recommandations adaptées et de challenger ses idées.
Elle a souligné que l’IA ne doit pas remplacer l’intelligence humaine, mais plutôt nous pousser à être plus intelligents et à évoluer.
L’IA nous permet, d’après elle, de comprendre mieux ce que veulent les gens, de pouvoir rapidement remettre en questions nos idées ou encore de travailler plus rapidement.
Elle souhaite également des cycles fail-fast afin de tirer des leçons rapidement et de rester proche des besoins.

Elle a également mis en lumière les préoccupations environnementales liées à l’IA, tout en insistant sur la nécessité de rendre ces technologies plus matures, sûres et réalistes à l’avenir.

Armand Joulin a mis l’accent sur le projet Gemma, qui vise à rendre les outils IA accessibles et pratiques pour les développeurs.

Le projet propose des modèles de différentes tailles (2B, 9B, 27B), adaptés aux appareils mobiles, ordinateurs portables et GPU haut de gamme.

Une innovation clé dans ce projet est l’utilisation du modèle enseignant, un modèle plus grand qui guide un modèle étudiant plus petit lors de la phase de pré-entraînement, améliorant ainsi l’efficacité et la capacité d’apprentissage du modèle plus petit.

Points clés :
– Accessibilité et Praticité : Gemma priorise des outils faciles à utiliser pour les développeurs, tout en garantissant des modèles adaptés aux différents supports.
– Modèle Enseignant : Cette approche permet de mieux guider l’apprentissage des petits modèles en utilisant des connaissances tirées de modèles plus larges.