IA : un modèle de fondation, qu'est-ce que c'est ?

Un modèle de fondation est un type de modèle d'apprentissage automatique (AA) qui est pré-entraîné pour réaliser une série de tâches. 

Jusqu'à récemment, les systèmes d'intelligence artificielle (IA) étaient des outils spécialisés. Il était donc courant d'entraîner un modèle d'AA pour une application ou un cas d'utilisation spécifique. La notion de modèle de fondation, aussi appelé modèle de base, a intégré notre jargon lorsque des spécialistes ont observé les deux tendances suivantes dans le domaine de l'apprentissage automatique :

1. Un petit nombre d'architectures d'apprentissage profond étaient utilisées afin d'obtenir des résultats pour des tâches très diverses.
2. De nouveaux concepts peuvent émerger à partir d'un modèle d'intelligence artificielle (IA), qui n'étaient pas prévus à l'origine dans l'entraînement de ce dernier. 

Les modèles de fondation ont été programmés pour fonctionner grâce à la connaissance contextuelle globale de schémas, de structures et de représentations. Cette capacité à comprendre la communication et l'identification des schémas permet de générer des connaissances de référence qui peuvent ensuite être modifiées ou ajustées en fonction des tâches spécifiques d'un domaine à réaliser dans tout secteur d'activité.

Les modèles de fondation reposent sur deux caractéristiques clés : l'apprentissage par transfert et la mise à l'échelle. L'apprentissage par transfert correspond à la capacité d'un modèle à appliquer les informations d'une situation à une autre, et à se développer grâce à ses connaissances internes.

La mise à l'échelle renvoie au matériel, plus précisément aux unités de traitement graphique (GPU) qui permettent au modèle de réaliser plusieurs calculs simultanés, c'est-à-dire d'effectuer un traitement parallèle. Les GPU sont essentielles pour l'entraînement et le déploiement des modèles d'apprentissage profond, car elles permettent de traiter rapidement des données et de réaliser des calculs statistiques complexes.

Apprentissage profond et modèles de fondation
De nombreux modèles de fondation, notamment ceux utilisés pour le traitement du langage naturel (NLP), la vision par ordinateur et le traitement audio, sont pré-entraînés à l'aide de techniques d'apprentissage profond. Cette technologie se trouve au cœur de nombreux modèles de fondation et a été la source de multiples avancées dans ce domaine. L'apprentissage profond, également connu sous le nom d'apprentissage neuronal profond ou de réseau neuronal profond, permet aux ordinateurs d'apprendre par l'observation, en imitant la manière dont les humains acquièrent des connaissances. 

Transformateurs et modèles de fondation
Bien que tous les modèles de fondation n'utilisent pas de transformateurs, ce type d'architecture est fréquemment utilisé pour créer des modèles de fondation qui impliquent du texte, tels que ChatGPT, BERT et DALL-E 2. Les transformateurs renforcent les capacités des modèles d'AA en leur permettant de capturer des relations contextuelles ainsi que des dépendances entre des éléments dans une séquence de données. Ils forment un type de réseau neuronal artificiel et sont utilisés pour les modèles de traitement du langage naturel. Cependant, ils ne sont généralement pas utilisés pour les modèles d'AA qui exploitent la vision par ordinateur ou le traitement de la parole.

Une fois qu'un modèle de fondation a été entraîné, il peut exploiter les connaissances acquises à partir des grands pools de données pour contribuer à la résolution des problèmes. Cette compétence peut fournir des données précieuses aux entreprises et les aider de nombreuses manières. Un modèle de fondation peut notamment réaliser les tâches générales suivantes :

Traitement du langage naturel (NLP)
Capable de reconnaître le contexte, la grammaire et les structures linguistiques, un modèle de fondation entraîné pour le traitement du langage naturel est en mesure de générer et d'extraire des informations à partir des données d'entraînement. L'ajustement d'un modèle de traitement du langage naturel en y associant du texte évocateur de sentiments (positifs, négatifs, neutres) peut être utile pour les entreprises qui souhaitent analyser des messages écrits tels que les commentaires de clients, les avis en ligne ou les publications sur les réseaux sociaux. Le traitement du langage naturel est une branche qui englobe le développement et l'application de grands modèles de langage.

Vision par ordinateur
Une fois que le modèle est capable de reconnaître des formes et des fonctions de base, il peut commencer à identifier des schémas. Avec l'ajustement d'un tel modèle, il est possible d'automatiser la modération des contenus, la reconnaissance faciale et la classification d'images. Ces modèles peuvent également générer de nouvelles images à partir de schémas intégrés par l'apprentissage. 

Traitement de l'audio et de la parole
Lorsqu'un modèle est en mesure de reconnaître des éléments phonétiques, il peut extraire le sens d'un discours pour obtenir une communication plus efficace et inclusive. Les assistants virtuels, la prise en charge multilingue, les commandes vocales et les fonctions telles que la transcription favorisent l'accessibilité et la productivité. 

Grâce à un ajustement supplémentaire, les entreprises peuvent concevoir des systèmes d'apprentissage automatique encore plus spécialisés pour répondre à des besoins spécifiques d'un secteur, notamment la détection des fraudes pour les institutions financières, le séquençage génétique pour la santé et les chatbots pour le service clientèle.

Passer l'évaluation sur l'IA/AA

Les modèles de fondation offrent un niveau d'accessibilité et de sophistication dans le domaine de l'IA que de nombreuses entreprises ne pourraient pas atteindre avec leurs propres ressources. L'adoption et l'exploitation de ces modèles peuvent ainsi leur permettre de relever des défis courants, notamment :

Accès limité à des données de qualité : les modèles de fondation s'appuient sur des données auxquelles la plupart des entreprises n'ont pas accès.

Performances/précision du modèle : les modèles de fondation offrent un niveau de précision qu'une entreprise seule pourrait mettre des mois, voire des années à atteindre. 

Délai de rentabilisation : l'entraînement d'un modèle d'apprentissage automatique peut être un long processus et nécessiter de nombreuses ressources. Les modèles de fondation sont un point de départ pour le pré-entraînement que les entreprises peuvent ensuite ajuster en vue d'atteindre le résultat escompté. 

Faible niveau de compétences : avec les modèles de fondation, les entreprises ont la possibilité d'utiliser l'IA/AA sans avoir à investir massivement dans des ressources en matière de science des données.

Gestion des dépenses : l'utilisation d'un modèle de fondation réduit le besoin en matériel coûteux nécessaire pour l'entraînement initial. Bien qu'il subsiste un coût associé à la mise à disposition et à l'ajustement du modèle final, celui-ci ne représente qu'une fraction du montant à payer pour entraîner le modèle de fondation lui-même.

Si les modèles de fondation peuvent être appliqués dans de nombreux cas, il existe cependant plusieurs défis potentiels à prendre en compte.

Coût
Les étapes de développement, d'entraînement et de déploiement des modèles de fondation requièrent d'importantes ressources. La phase d'entraînement initial nécessite un grand volume de données génériques, utilise des dizaines de milliers de GPU et implique souvent l'intervention d'une équipe d'ingénierie en apprentissage automatique et de data scientists. 

Interprétabilité
Le terme « boîte noire » fait référence à l'étape où un programme d'IA réalise une tâche au sein de son réseau neuronal sans montrer ce qu'il fait. À ce moment-là, personne, pas même les data scientists ni les ingénieurs qui ont créé l'algorithme, n'est en mesure d'expliquer exactement comment le modèle parvient au résultat qu'il propose. Le manque d'interprétabilité des modèles de boîte noire peut avoir des conséquences néfastes lorsqu'ils sont utilisés pour des prises de décisions sensibles, en particulier dans des secteurs tels que la santé, la justice pénale ou la finance. Cet effet de boîte noire peut également survenir avec tout modèle basé sur un réseau neuronal. 

Confidentialité et sécurité
Les modèles de fondation nécessitent l'accès à de nombreuses informations, qui peuvent parfois concerner des clients ou des données d'entreprise propriétaires. La confidentialité et la sécurité de ces données doivent être garanties si le modèle est déployé ou exploité par des fournisseurs tiers.

Précision et biais
Si un modèle d'apprentissage profond est entraîné avec des données statistiquement biaisées ou qui ne donnent pas une représentation exacte de la population, les résultats peuvent être erronés. Malheureusement, le biais humain existant est souvent transféré à l'intelligence artificielle, avec à la clé des algorithmes potentiellement discriminatoires et des résultats biaisés. Plus les entreprises exploitent l'IA pour améliorer leur productivité et leurs performances, plus il est essentiel de mettre en place des stratégies pour minimiser le biais. Cette approche nécessite d'abord des processus de conception inclusifs et une prise en compte plus réfléchie de la diversité représentative au sein des données collectées. 

Notre objectif en matière de modèles de fondation consiste à fournir l'infrastructure de charge de travail sous-jacente, y compris l'environnement qui permet l'entraînement, l'ajustement des requêtes, l'ajustement ainsi que la mise à disposition de ces modèles.

Plateforme leader de développement de conteneurs pour les environnements hybrides et multicloud, Red Hat® OpenShift® favorise la collaboration entre les équipes de data scientists et de développement de logiciels. Elle accélère le déploiement des applications intelligentes dans les environnements de cloud hybride, du datacenter à la périphérie du réseau en passant par les différents clouds.

Avec Red Hat OpenShift Data Science, les entreprises ont accès aux ressources qui leur permettent de développer, d'entraîner, de tester et de déployer rapidement des modèles d'apprentissage automatique conteneurisés, sans avoir à concevoir ni à déployer une infrastructure Kubernetes. 

La solution Red Hat OpenShift AI permet aux clients d'évoluer pour entraîner les modèles de fondation à l'aide des fonctions d'accélération de GPU natives d'OpenShift, déployées sur site ou via un service cloud. OpenShift AI permet aussi le fonctionnement des services IBM watsonx et Ansible® Lightspeed.

Le service d'IA générative Ansible Lightspeed with IBM watsonx Code Assistant permet aux équipes de développement de créer des contenus Ansible de manière plus efficace. Après avoir lu la demande de tâche d'automatisation d'un utilisateur en anglais vernaculaire, le logiciel se charge d'interagir avec les modèles de fondation IBM watsonx pour générer des recommandations de code qui sont ensuite utilisées pour créer des playbooks Ansible. Le déploiement du service Ansible Lightspeed sur Red Hat OpenShift permet de simplifier les tâches complexes dans Kubernetes grâce à l'automatisation et à l'orchestration intelligentes.