Le secret coûteux de l'intelligence artificielle et de l'apprentissage automatique

Le secret coûteux de l'intelligence artificielle et de l'apprentissage automatique
4.1 (81.67%) 12 votes


En ce qui concerne le changement climatique et les émissions de carbone, ce sont les suspects habituels qui en souffrent le plus. Les véhicules fonctionnant à l'essence et au diesel, les centrales au charbon et les grands utilisateurs industriels tels que le raffinage de l'aluminium et les cimenteries méritent pour la plupart leur mauvaise réputation.

L'année dernière, une industrie plus petite, mais toujours suspecte pour l'environnement, a été battue pour son utilisation de l'électricité. alors que des réseaux de milliers d'ordinateurs parcourent des montagnes de données cherchant à vérifier une transaction et à gagner un bitcoin en paiement. Par une estimation, juste pour vérifier une transaction.

Maintenant, un nouveau méchant de l'environnement vient peut-être d'apparaître. Emma Strubell, Ananya Ganesh et Andrew McCallum de l'Université du Massachusetts Amherst ont fait appel à l'intelligence artificielle (IA) et à l'apprentissage automatique (ML). Ils (PNL) basés sur l’utilisation d’électricité pour le matériel nécessaire à la formation des réseaux de neurones qui sous-tendent l’IA et le ML.

Le graphique ci-dessous de la revue MIT Technology Review montre que la formation de grands modèles d'intelligence artificielle produit des émissions de carbone sur le cycle de vie environ cinq fois supérieures au cycle de vie d'une voiture américaine typique.

Il n’est pas si difficile de proposer une application appropriée de l’IA ou du ML, mais le diable se cache dans les détails. Dans ce cas, les détails impliquent la formation de la machine, une tâche qui peut prendre des heures, voire des jours, à parcourir des ensembles de données volumineux pour améliorer la précision des résultats renvoyés par la machine. Selon les chercheurs, «ces améliorations en termes de précision dépendent de la disponibilité de ressources de calcul exceptionnellement volumineuses nécessitant une consommation d’énergie aussi importante. Par conséquent, la formation et le développement de ces modèles sont coûteux, à la fois financièrement, en raison du coût du matériel et de l’électricité, ou du temps de calcul dans le cloud, et écologiquement, en raison de l’empreinte carbone nécessaire pour alimenter le matériel de traitement du tenseur moderne. " Les TPU sont des puces spécialisées développées spécialement pour l’apprentissage par machine de réseaux de neurones.)

Le rapport poursuit: «La recherche et le développement de nouveaux modèles multiplie ces coûts par des milliers de fois, car il est nécessaire de se recycler pour expérimenter des architectures de modèles et des hyperparamètres. Alors qu'il y a dix ans, la plupart des modèles de PNL pouvaient être formés et développés sur un ordinateur portable ou un serveur standard, beaucoup nécessitent désormais plusieurs instances de matériel spécialisé, tels que des GPU ou des TPU, limitant ainsi l'accès à ces modèles extrêmement précis sur la base des finances. "

Par exemple, un processus de réglage précis connu sous le nom de recherche par architecture neuronale (NAS) a généré des coûts extrêmement élevés pour un «bénéfice peu associé», selon les recherches. À quelle hauteur? Le processus de formation a nécessité plus de 656 000 kilowattheures d’électricité pour un coût carbone de plus de 310 tonnes. Le temps de calcul en nuage coûte à lui seul entre 94 000 et 3,2 millions de dollars.

Parmi les conclusions de la recherche figure une recommandation selon laquelle l'industrie et le monde universitaire doivent concentrer leurs efforts sur la recherche «d'algorithmes plus efficaces en calcul, ainsi que d'un matériel nécessitant moins d'énergie». Et juste au cas où vous vous le demanderiez, les États-Unis étaient en 2017, plus de 5,3 milliards de tonnes de CO2.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *