Le nouveau test MLPerf mesure les performances d'inférence d'apprentissage automatique

Le nouveau test MLPerf mesure les performances d'inférence d'apprentissage automatique
4.8 (95%) 16 votes


Aujourd'hui, un consortium regroupant plus de 40 entreprises et chercheurs universitaires de premier plan a présenté la première suite de tests de référence en apprentissage automatique aux normes de l'industrie pour mesurer la performance des systèmes et l'efficacité énergétique. La suite de tests couvre des modèles applicables à un large éventail d'applications (conduite autonome, traitement du langage naturel, etc.) sur une variété de facteurs de forme (smartphones, PC, serveurs de périphérie et plates-formes d'informatique en nuage dans le centre de données).

MLPerf Inference v0.5 utilise une combinaison de modèles et d'ensembles de données soigneusement sélectionnés pour garantir que les résultats sont pertinents pour les applications du monde réel et pour faire progresser l'état de la technique.

En mesurant l'inférence, cette suite de référence fournira des informations précieuses sur la rapidité avec laquelle un réseau de neurones formés peut traiter de nouvelles données pour fournir des informations utiles. Auparavant, MLPerf avait publié la suite de tests d'accompagnement Training v0.5, qui donnait 29 résultats différents, mesurant la performance de systèmes de pointe pour la formation de réseaux neuronaux profonds.

Les nouveaux repères d'inférence MLPerf accéléreront le développement du matériel et des logiciels nécessaires pour exploiter pleinement le potentiel des applications ML », a déclaré Vijay Janapa Reddi, professeur associé à l'Université de Harvard et coprésident du groupe de travail MLPerf Inference. "Cela stimulera également l'innovation au sein du monde universitaire et de la recherche."

MLPerf Inference v0.5 consiste en cinq points de repère, axés sur trois tâches courantes du BC:

  • Classification des images – prédire une «étiquette» pour une image donnée à partir du jeu de données ImageNet, par exemple en identifiant les éléments d'une photo.
  • Détection d'objet – sélection d'un objet à l'aide d'un cadre de sélection dans une image du jeu de données MS-COCO, couramment utilisé dans les domaines de la robotique, de l'automatisation et de l'automobile.
  • Traduction automatique – traduction de phrases entre l'anglais et l'allemand à l'aide du référentiel anglais-allemand WMT, similaire aux fonctionnalités de traduction automatique dans les applications de chat et de messagerie largement utilisées.

MLPerf fournit des implémentations de code de référence de référence qui définissent le problème, le modèle et la cible de qualité, ainsi que des instructions pour l'exécution des références. Les implémentations de référence sont disponibles dans les frameworks ONNX, PyTorch et TensorFlow. Le groupe de travail sur les références d'inférence MLPerf suit une méthodologie de comparaison «agile»: lancer tôt, impliquer une communauté large et ouverte et itérer rapidement. Le site Web mlperf.org fournit une spécification complète avec des instructions sur le code de référence et permet de suivre les résultats futurs.

Notre objectif est de créer des métriques communes et pertinentes pour évaluer les nouvelles infrastructures logicielles d’apprentissage automatique, les accélérateurs matériels et les plates-formes de cloud et d’informatique de périphérie dans des situations réelles », a déclaré David Kanter, coprésident du groupe de travail sur l’inférence MLPerf. "Les critères d'inférence établiront des règles du jeu équitables que même les plus petites entreprises peuvent utiliser pour se faire concurrence."

Les repères d’inférence ont été créés grâce aux contributions et au leadership de nos membres au cours des 11 derniers mois, notamment: Arm, Cadence, Technologie Centaure, Dividiti, Facebook, Futurewei, General Motors, Google, Habana Labs, Université Harvard, Intel, MediaTek, Microsoft, Myrtle, Nvidia, Real World Insights, Université de Toronto et Xilinx.

MLPerf fournit aux organisations un objectif clair qui leur permet d’aligner leurs efforts de recherche et développement et d’orienter leurs décisions en matière d’investissement et d’achat », a déclaré Peter Mattson, président général de MLPerf. «Les repères d'inférence MLPerf constituent une étape majeure dans la réalisation de cet objectif.» Maintenant que la nouvelle suite de repères a été publiée, les organisations peuvent soumettre des résultats démontrant les avantages de leurs systèmes de BC sur ces repères. Les organisations intéressées doivent contacter info@mlperf.org. ”

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *