Intelligence Artificielle : Meta a construit un nouveau langage d’IA massif – et le distribue gratuitement

« C’est une excellente initiative », déclare Thomas Wolf, scientifique en chef chez Hugging Face, la startup d’IA à l’origine de BigScience, un projet dans lequel plus de 1 000 volontaires du monde entier collaborent à un modèle de langage en libre accès. « Plus il y aura de modèles ouverts, mieux ce sera », ajoute-t-il.

Les grands modèles de langage – de puissants programmes capables de générer des paragraphes de texte et d’imiter une conversation humaine – sont devenus l’une des tendances les plus chaudes de l’IA ces deux dernières années. Mais ils présentent de profondes lacunes et transmettent des informations erronées, des préjugés et des propos toxiques.

En théorie, l’augmentation du nombre de personnes travaillant sur ce problème devrait être utile. Pourtant, comme l’apprentissage des modèles de langage nécessite de grandes quantités de données et de puissance de calcul, ils sont restés jusqu’à présent des projets destinés aux riches entreprises technologiques. La communauté de recherche au sens large, y compris les éthiciens et les spécialistes des sciences sociales qui s’inquiètent de leur utilisation abusive, a dû rester sur la touche.

Meta AI affirme vouloir changer cela. « Beaucoup d’entre nous ont été des chercheurs universitaires », dit Pineau. « Nous connaissons l’écart qui existe entre les universités et l’industrie en termes de capacité à construire ces modèles. Mettre celui-ci à la disposition des chercheurs était une évidence. » Elle espère que d’autres personnes se pencheront sur son travail, le démonteront ou s’en inspireront. Les percées sont plus rapides lorsque plus de personnes sont impliquées, dit-elle.

Meta met son modèle, appelé Open Pretrained Transformer (OPT), à disposition pour une utilisation non commerciale. Elle publie également son code et un journal de bord qui documente le processus de formation. Le journal de bord contient des mises à jour quotidiennes des membres de l’équipe concernant les données de formation : comment et quand elles ont été ajoutées au modèle, ce qui a fonctionné et ce qui n’a pas fonctionné. Dans plus de 100 pages de notes, les chercheurs consignent tous les bogues, les pannes et les redémarrages survenus au cours d’un processus de formation de trois mois qui s’est déroulé sans interruption d’octobre 2021 à janvier 2022.

Avec 175 milliards de paramètres (les valeurs d’un réseau neuronal qui sont modifiées pendant la formation), le TPO a la même taille que le TPG-3. C’est à dessein, explique M. Pineau. L’équipe a conçu l’OPT pour qu’il soit aussi précis que le GPT-3 dans les tâches linguistiques et qu’il soit aussi toxique. OpenAI a mis GPT-3 à disposition en tant que service payant, mais n’a pas partagé le modèle lui-même ni son code. L’idée était de fournir aux chercheurs un modèle de langage similaire à étudier, explique M. Pineau.

En lien avec cet article :  Cet avion sans pilote va tester la livraison de marchandises pour FedEx

Google, qui explore l’utilisation de grands modèles linguistiques dans ses produits de recherche, a également été critiqué pour son manque de transparence. L’entreprise a suscité la controverse en 2020 lorsqu’elle a évincé des membres éminents de son équipe chargée de l’éthique de l’IA après qu’ils aient produit une étude mettant en évidence des problèmes liés à cette technologie.

Choc des cultures

Alors pourquoi Meta fait-elle cela ? Après tout, Meta est une entreprise qui a peu parlé de la façon dont les algorithmes derrière Facebook et Instagram fonctionnent et qui a la réputation d’enterrer les résultats défavorables de ses propres équipes de recherche internes. A voir aussi : Une roboticienne explique pourquoi elle aime travailler à Boston Dynamics. L’approche différente de Meta AI s’explique en grande partie par Mme Pineau elle-même, qui milite depuis plusieurs années en faveur d’une plus grande transparence en matière d’IA.

Mme Pineau a contribué à changer la façon dont les recherches sont publiées dans plusieurs des plus grandes conférences, en introduisant une liste de contrôle des éléments que les chercheurs doivent soumettre avec leurs résultats, y compris le code et les détails sur la façon dont les expériences sont menées. Depuis qu’elle a rejoint Meta (alors Facebook) en 2017, elle a défendu cette culture dans son laboratoire d’IA.

« Cet engagement pour une science ouverte est la raison pour laquelle je suis ici », dit-elle. « Je ne serais pas ici dans d’autres conditions. »

En fin de compte, Mme Pineau veut changer la façon dont nous jugeons l’IA. « Ce que nous appelons aujourd’hui l’état de l’art ne peut pas se limiter aux performances », dit-elle. « Il faut que ce soit l’état de l’art en termes de responsabilité également ».

Néanmoins, le fait de donner un modèle de langage important est un geste audacieux pour Meta. « Je ne peux pas vous dire qu’il n’y a aucun risque que ce modèle produise un langage dont nous ne sommes pas fiers », déclare M. Pineau. « Il le fera. »

Peser les risques

Margaret Mitchell, l’une des chercheuses en éthique de l’IA que Google a forcée à quitter en 2020, et qui travaille désormais pour Hugging Face, considère la publication de l’OPT comme une mesure positive. Mais elle pense qu’il y a des limites à la transparence. Voir l’article : Smartphone : Samsung officialise le lancement de la série Galaxy A. Le modèle linguistique a-t-il été testé avec suffisamment de rigueur ? Les avantages prévisibles l’emportent-ils sur les inconvénients prévisibles, tels que la production de fausses informations ou le langage raciste et misogyne ?

« La diffusion d’un grand modèle linguistique dans le monde, où un large public est susceptible de l’utiliser ou d’être affecté par ses résultats, implique des responsabilités », explique-t-elle. Mme Mitchell note que ce modèle sera capable de générer du contenu nuisible non seulement par lui-même, mais aussi par le biais d’applications en aval que les chercheurs construiront à partir de lui.

Meta AI a vérifié l’OPT pour supprimer certains comportements nuisibles, mais l’objectif est de publier un modèle dont les chercheurs peuvent s’inspirer, avec tous ses défauts, explique M. Pineau.

« Nous avons eu de nombreuses discussions sur la manière de procéder d’une manière qui nous permette de dormir la nuit, en sachant qu’il y a un risque non nul en termes de réputation, un risque non nul en termes de préjudice », dit-elle. Elle rejette l’idée qu’il ne faut pas publier un modèle parce qu’il est trop dangereux, ce qui est la raison invoquée par OpenAI pour ne pas publier le prédécesseur de GPT-3, GPT-2. « Je comprends les faiblesses de ces modèles, mais ce n’est pas un état d’esprit de recherche », dit-elle.

Mme Bender, qui a coécrit avec M. Mitchell l’étude au centre du litige avec Google, s’inquiète également de la manière dont les préjudices potentiels seront traités. « Une chose qui est vraiment essentielle pour atténuer les risques de tout type de technologie d’apprentissage automatique est de fonder les évaluations et les explorations sur des cas d’utilisation spécifiques », dit-elle. « À quoi servira le système ? Qui l’utilisera, et comment les résultats du système leur seront-ils présentés ? »

En lien avec cet article :  Meta (Facebook) ouvre son premier magasin : Les casques VR grand public et le Métavers se concrétise doucement mais surement !

Certains chercheurs se demandent pourquoi de grands modèles linguistiques sont construits, compte tenu de leur potentiel de nuisance. Pour Mme Pineau, il faut répondre à ces préoccupations par plus de transparence, et non moins. « Je crois que la seule façon d’instaurer la confiance est une transparence extrême », dit-elle.

« Nous avons des opinions différentes dans le monde entier sur les discours appropriés, et l’IA fait partie de cette conversation », dit-elle. Elle ne s’attend pas à ce que les modèles de langage disent des choses avec lesquelles tout le monde est d’accord. « Mais comment faire face à cette situation ? Vous avez besoin de nombreuses voix dans cette discussion. »

Written by Carlos

L'évolution permanente des nouvelles technologies motive la passion de Carlos dans ce secteur. Rédacteur web et journaliste depuis 10 ans, il partage cette passion à travers ses écrits pour le site Miroir Mag et d'autres médias spécialisés.