Visages de réalité virtuelle: animation en temps réel d'avatars réalistes et réalistes pour la réalité virtuelle


Créer des avatars réalistes nécessite actuellement de capturer de grandes quantités d'audio et de vidéo de haute qualité d'un individu. Autumn Trimble est numérisé dans un système hautement personnalisé de caméras et de microphones dans le bureau de Facebook du Reality Lab de Facebook. Crédit: Facebook

Les informaticiens se concentrent sur l'ajout de fonctionnalités améliorées pour rendre la "réalité" dans les environnements de réalité virtuelle (VR) hautement crédible. Un aspect clé de la réalité virtuelle est de permettre des interactions sociales à distance et la possibilité de la rendre plus immersive que n’importe quel autre média de télécommunication. Des chercheurs de Facebook Reality Labs (FRL) ont mis au point un système révolutionnaire appelé Codec Avatars, qui permet aux utilisateurs de VR d’interagir avec les autres tout en se présentant eux-mêmes avec des avatars réalistes précisément animés en temps réel. Les chercheurs ont pour objectif de construire l'avenir de la connexion au sein de la réalité virtuelle et, éventuellement, de la réalité augmentée en offrant l'expérience la plus socialement possible possible aux utilisateurs du monde de la réalité virtuelle.


À ce jour, des avatars hautement photoréalistes rendus en temps réel ont été réalisés et utilisés fréquemment dans l'animation par ordinateur. Les acteurs sont équipés de capteurs parfaitement positionnés pour capturer par ordinateur les détails géométriques de leurs visages et de leurs expressions faciales. Cette technologie de capteur, cependant, n'est pas compatible avec les conceptions ou les plates-formes de casque VR existantes, et les casques VR typiques obstruent différentes parties du visage, ce qui rend difficile la technologie complète de capture du visage. Par conséquent, ces systèmes conviennent mieux aux performances unidirectionnelles qu'aux interactions bidirectionnelles lorsque deux personnes ou plus portent toutes un casque VR.

"Notre travail démontre qu'il est possible d'animer avec précision des avatars photoréalistes à partir de caméras étroitement montées sur un casque de réalité virtuelle", a déclaré l'auteur principal, Shih-En Wei, chercheur chez Facebook. Wei et ses collaborateurs ont configuré un casque avec un minimum de capteurs pour la capture faciale, et leur système permet une interaction sociale authentique à double sens en réalité virtuelle.

Wei et ses collègues de Facebook présenteront leur système d'animation faciale en temps réel à l'occasion du SIGGRAPH 2019, qui se tiendra du 28 juillet au 1er août à Los Angeles. Ce rassemblement annuel met en vedette les principaux professionnels, universitaires et esprits créatifs du monde à la pointe de l'infographie et des techniques interactives.

Dans ce travail, les chercheurs présentent un système capable d'animer les têtes d'avatar avec une ressemblance personnelle très détaillée en suivant précisément les expressions faciales en temps réel des utilisateurs à l'aide d'un ensemble minimal de caméras montées sur le casque (HMC). Ils abordent deux problèmes clés: les vues de caméra difficiles sur la console HMC et les différences d'aspect importantes entre les images capturées à partir des caméras du casque et les rendus de l'avatar réaliste de la personne.

L’équipe a mis au point un prototype de casque «de formation», qui comporte non seulement des caméras sur le casque de suivi standard pour l’animation, mais également des caméras à des positions plus adaptées pour un suivi du visage idéal. Les chercheurs présentent une technique d'intelligence artificielle basée sur des réseaux génératifs d'adversaire (GAN) générant une conversion cohérente de style d'image multi-vues pour convertir automatiquement les images infrarouges HMC en images ressemblant à un avatar mais avec la même expression faciale de la personne.

"En comparant ces images converties en utilisant chaque pixel – pas seulement les traits du visage épars – et les rendus de l'avatar 3D," explique Wei, "nous pouvons établir une correspondance précise entre les images du casque de suivi et le statut de l'avatar 3D. Une fois la cartographie établie, nous entraînons un réseau de neurones à prédire les paramètres de visage à partir d’un ensemble minimal d’images de caméra en temps réel. "

Ils ont présenté divers exemples dans ce travail et ont été capables de montrer que leur méthode peut trouver des cartographies de haute qualité, même subtiles sur le haut du visage, une zone très difficile à capturer, où l’angle est de biais et trop proche du sujet. Les chercheurs ont également montré une capture faciale extrêmement détaillée, comprenant des différences subtiles de langue, de dents et de yeux, où l'avatar n'a pas de géométrie détaillée.

En plus d’animer les avatars en réalité virtuelle, l’équipe FRL crée également des systèmes qui permettront peut-être un jour aux utilisateurs de créer rapidement et facilement leurs avatars à partir de quelques images ou vidéos. Alors que les avatars de codec actuels sont créés automatiquement, le processus nécessite un grand système de caméras et de microphones pour capturer l'individu. FRL vise également à créer et à animer des corps complets pour exprimer des signaux sociaux plus complets. Bien que cette technologie attende des années avant d’atteindre les casques des consommateurs, le groupe de recherche étudie déjà des solutions possibles pour assurer la sécurité des données et assurer que les avatars ne sont accessibles qu'aux personnes qu'ils représentent.


Oculus Rift s'associe à des chercheurs pour créer une capacité à capturer et à afficher les expressions faciales


Plus d'information:
"Animation faciale VR via la traduction d'images multivues" SIGGRAPH 2019.

Fourni par
Association pour les machines informatiques

Citation:
                                                 Visages de réalité virtuelle – animation en temps réel d'avatars réalistes et réalistes pour la réalité virtuelle (25 juin 2019)
                                                 récupéré le 25 juin 2019
                                                 à partir de https://phys.org/news/2019-06-virtual-reality-facesanimating-precise-lifelike.html

Ce document est soumis au droit d'auteur. Mis à part toute utilisation équitable à des fins d’étude ou de recherche privée, aucun
                                            partie peut être reproduite sans autorisation écrite. Le contenu est fourni seulement pour information.