Cohere AI : des ex-Googlers lèvent 40 millions de dollars pour démocratiser l’IA linguistique

Publié le 8 septembre 2021, 11:18

La capacité des ordinateurs à comprendre et à générer du langage a fait un énorme bond en avant en 2017 lorsque des chercheurs de Google ont développé de nouveaux modèles d’IA en langage naturel appelés Transformers. Certains des experts qui ont construit et formé ces modèles séminaux se sont depuis lancés à leur compte en fondant la startup de Toronto. Cohere qui a annoncé aujourd’hui un nouveau tour de table de série A de 40 millions de dollars.

La technologie qui sous-tend les modèles de traitement du langage naturel de Cohere a été développée à l’origine par l’entreprise torontoise Google Brain équipe. Deux des membres de cette équipe, Aidan Gomez et Nick Frosst (ainsi qu’un troisième cofondateur, Ivan Zhang), ont créé Cohere il y a deux ans pour développer et commercialiser les modèles, qui sont fournis aux clients par le biais d’une API.

Qui soutient cette nouvelle technologie ?

Cohere est soutenu par le pionnier des réseaux neuronaux et le lauréat du prix Turing. Geoffrey Hintonqui a dirigé l’équipe Google Brain de Toronto, ainsi que d’autres grands noms du monde de l’IA, comme Fei-Fei Li, professeur d’informatique à Stanford. « Les modèles de langage de très grande taille permettent désormais aux ordinateurs de mieux comprendre la communication humaine », a déclaré M. Hinton dans une déclaration à l’adresse suivante Fast Company. « L’équipe de Cohere construit une technologie qui rendra cette révolution dans la compréhension du langage naturel beaucoup plus largement disponible. »

Au cours de l’année dernière, les critiques des grands modèles NLP, qui sont formés sur d’énormes quantités de texte provenant du Web, ont soulevé des préoccupations sur la façon dont la technologie ramasse par inadvertance les biais inhérents aux personnes ou aux points de vue dans ces données de formation. Ces critiques ont pris de l’ampleur après Google a évincé de manière controversée le célèbre chercheur en IA Timnit Gebru.en partie à cause d’un article qu’elle a coécrit et qui analysait ces risques. Aidan Gomez, PDG de Cohere, explique que sa société a développé de nouveaux outils et investi beaucoup de temps pour s’assurer que les modèles de Cohere n’ingèrent pas d’aussi mauvaises données.

Alors que le débat se poursuit sur l’éthique de ces modèles et la façon dont ils sont construits, Cohere s’efforce de rendre les modèles NLP plus accessibles aux entreprises autres que les géants de la technologie.

 

Gomez dit que l’un des problèmes des modèles Transformer est qu’ils nécessitent des quantités massives de données d’entraînement et de puissance de calcul pour fonctionner. « Personne ne peut avoir accès à ces modèles de langage naturel de haute qualité ; ceux qui le peuvent sont ceux qui ont accès à un superordinateur d’un quart de milliard de dollars, c’est-à-dire toutes les grandes entreprises FAANG (Facebook, Amazon, Apple, Netflix et Google) », explique M. Gomez. « Ce que nous voulons faire, c’est financer le coût de ce superordinateur et donner accès à toutes ces organisations qui, autrement, ne pourraient pas construire des produits ou des fonctionnalités sur cette technologie. »

Par exemple, Cohere fournit la capacité NLP pour Ada, un programme de licorne récente dans le domaine des chatbots. Ada a expérimenté les modèles de langage naturel de Cohere pour faire correspondre les demandes de chat des clients aux informations d’assistance disponibles. Plutôt que d’essayer d’anticiper toutes les formulations possibles d’une demande, le modèle de Cohere tente de comprendre l’intention qui se cache derrière, explique M. Gomez.

Cette compréhension du langage est le résultat d’avancées majeures dans le traitement du langage naturel au cours des cinq dernières années. Cela a commencé avec le développement des modèles Transformer chez Google Brain. Au niveau architectural, les modèles ont été conçus pour glaner non seulement le sens des mots individuels, mais aussi le sens des mots dans le contexte d’autres mots, Gomez me dit.

Une base bien connue des amateurs d’IA

Sur la base de cette architecture, une autre équipe de chercheurs de Google a mis au point une nouvelle méthode d’entraînement des modèles Transformer appelée BERT (Bidirectional Encoder Representations from Transformers), qui est désormais utilisé pour comprendre les requêtes dans presque toutes les fonctions de recherche de Google. Les chercheurs ont d’abord entraîné le modèle Transformer en lui permettant de traiter des quantités massives de texte provenant du web. Ils ont ensuite introduit des phrases complètes dont certains mots ont été intentionnellement omis, puis ont mis le modèle au défi de trouver les meilleurs mots pour remplir les blancs.

« Le modèle apprend vraiment à comprendre le langage parce qu’il doit apprendre à comprendre le contexte de la phrase – un choix logique de mots à insérer dans la phrase », explique M. Gomez. Tout en cherchant le bon mot, le modèle doit apprendre les nuances de nombreux candidats potentiels pour arriver au gagnant le plus probable.

 

En lien avec cet article :  GoPro Hero 10 : une nouvelle caméra et une mise à niveau du processeur

En recherchant les meilleurs mots candidats, le modèle apprend une quantité surprenante de choses sur les mots, les choses et les idées qu’ils représentent.

« Les représentations [the model’s encoding of the meaning and features of words] qui sortent de l’autre côté sont incroyablement riches », dit Gomez, « parce que leur but est de pouvoir prédire ces blancs, donc ils doivent vraiment comprendre quelles sont les options. »

Les modèles de Cohere présentent certaines similitudes avec les modèles de GPT-3 qui a choqué certaines personnes par sa capacité à créer des textes à consonance humaine lors de sa sortie l’année dernière. Ce modèle, développé par OpenAI, une société basée à San Francisco, est très similaire, sur le plan architectural, aux modèles Cohere. Tous deux sont pré-entraînés à l’aide de quantités massives de texte provenant du Web, et tous deux sont fournis par le biais d’une API (bien qu’OpenAI ait accordé une licence exclusive à Microsoft pour utiliser et modifier le code sous-jacent du modèle).

 

Mais il y a aussi de grandes différences, explique Gomez. GPT-3 est un modèle « génératif » conçu pour créer du texte se déplaçant de gauche à droite sur la base d’une invite fournie par l’utilisateur – semblable à une fonction de complétion automatique extrêmement puissante. Mais ce n’est qu’une des nombreuses fonctions du langage naturel, dit Gomez. Cohere, dit-il, offre une plate-forme contenant une « pile complète » de fonctions NLP, y compris la classification des sentiments, la réponse aux questions et la classification des textes.

Comme les critiques l’ont souligné, l’un des inconvénients de la formation des modèles est le risque qu’ils puissent apprendre des choses qu’ils ne devraient pas, dit Gomez. En plus d’apprendre des biais, comme GPT-3 est connu pour le faire parce qu’ils ont été formés sur des textes provenant d’Internet, les modèles peuvent également absorber des informations erronées incluses par inadvertance dans les données de formation. Un nouveau groupe à Stanford, supervisé par Fei-Fei Li, s’est formé pour étudier les risques associés à l’utilisation de l’informatique. « technologies « de base comme BERT et GPT-3.

Pour faire face aux risques, les ingénieurs de Cohere ont mis en place des tests de contrôle de la qualité afin de rechercher tout problème avec le modèle avant son lancement, et la société continue à surveiller ses modèles après le lancement également. En outre, M. Gomez indique que Cohere publiera des « déclarations de données », qui comprendront des informations sur les données de formation, leurs limites et les risques éventuels.un concept popularisé pour la première fois par Gebru. Cohere a également créé un conseil de responsabilité externe qui aidera à superviser l’application sûre de l’IA de l’entreprise. L’entreprise a refusé de révéler qui fait partie de ce conseil.

M. Gomez m’a dit que sa société utiliserait l’argent frais pour augmenter son effectif de 50 employés et étendre sa plateforme NLP pour servir de nouvelles industries, telles que les soins de santé et les services financiers. Index Ventures a mené le tour de table, et Mike Volpi, partenaire d’Index, rejoint le conseil de Cohere.

Laurine Dancourt
Laurine Dancourt

Après une solide expérience professionnelles au sein d’un cabinet d’audit financiers, Laurine décrypte les innovations des marques, aussi bien technologiques que stratégiques.

×
Laurine Dancourt
Laurine Dancourt

Après une solide expérience professionnelles au sein d’un cabinet d’audit financiers, Laurine décrypte les innovations des marques, aussi bien technologiques que stratégiques.

Latest Posts