Des objets en 3D contrôlés avec le corps

Développée par une équipe Microsoft Research, KinÊtre est une technologie d’animation graphique 3D qui permet à un utilisateur, même novice, d’animer n’importe quel objet avec les mouvements de son corps. Plutôt que de recourir à des logiciels professionnels coûteux et sophistiqués, KinÊtre utilise le capteur de mouvements Kinect et son logiciel sous Windows. Microsoft Research a répondu aux questions de Futura-Sciences.

Se glisser dans la peau d’un objet 3D inanimé pour lui donner vie avec les mouvements de son propre corps, voilà une performance qui était jusqu’à présent réservée aux spécialistes de l’animation graphique équipés d’ordinateurs et de logiciels puissants. Elle sera peut-être bientôt accessible au grand public, y compris aux enfants.

Faire marcher une chaise ou une table, une peluche, jouer au football avec une armoire, donner vie aux jouets, voici entre autres ce que permet de réaliser KinÊtre. Ce projet, fruit d’une équipe de Microsoft Research à Cambridge en Angleterre, repose sur l’utilisation du capteur Kinect pour Windows qui associe le squelette virtuel d’une personne à la géométrie d’un objet numérisé en 3D. Comme l’a expliqué à Futura-Sciences Rachel Howard, porte-parole de Microsoft Research, le système KinÊtre se décompose en deux phases.

Pour commencer, l’utilisateur va scanner un objet physique en en faisant le tour à l’aide du capteur Kinect pour Windows. La création de ce modèle en 3D repose sur une autre technologie développée par Microsoft, nommée KinectFusion, qui va séparer l’objet numérisé de son environnement pour le rendre autonome. Ensuite, un algorithme spécialement développé transformera le maillage 3D en structure déformable qui réagira aux mouvements du corps.

Une fois la première phase réalisée, l’utilisateur se place dans l’espace où se trouvait l’objet qu’il a numérisé, en face du capteur Kinect relié à un téléviseur. Le capteur scanne la personne et produit un squelette virtuel qui apparaît à l’écran derrière l’objet en 3D. Il lui faut alors bouger pour ajuster l’alignement entre son squelette virtuel et l’objet afin de créer des points de contact entre les deux maillages. Lorsque l’alignement est correct, l’utilisateur prononce le mot anglais « possess » (« posséder ») pour créer l’animation. Il peut alors donner vie à l’objet 3D en bougeant son corps. « Nous utilisons un algorithme d’optimisation numérique pour que le traitement de la déformation soit le plus fluide et réduise les phénomènes d’étirement », commente Rachel Howard.

Dans la première partie de cette vidéo présentant KinÊtre, une chaise effectue des contorsions en suivant les mouvements d’une personne que l’on voit en incrustation. Les parties rouges et bleues correspondent aux membres du squelette virtuel qui a fusionné avec la chaise en 3D. Dans le détail, l’opérateur commence par scanner la vraie chaise avec le capteur Kinect puis se scanne lui-même et vient ajuster son squelette virtuel sur la chaise en 3D avant de prononcer le mot « possess » pour « posséder » la chaise en créant des points de contacts avec le maillage 3D. Il peut alors incarner l’objet, le mouvoir comme bon lui semble. © Microsoft Research/YouTube

Avec KinÊtre, l’animation 3D accessible à tous

KinÊtre peut donc donner vie à n’importe quel objet de la vie courante. De quoi débrider l’imagination des créateurs de films d’animation, de dessins animés, de jeux vidéo ou tout simplement d’amateurs qui auront accès à une technologie jusqu’ici complexe et onéreuse. « Nous pensons que KinÊtre peut être utilisé dans un grand nombre de domaines. Notre but initial était de rendre l’animation accessible à tous.

Nous voulons que les enfants se servent de notre système pour raconter leurs propres histoires. Nous croyons aussi que KinÊtre peut donner naissance à une nouvelle catégorie de jeux qui incorporent vos objets personnels. Et il y a encore d’autres applications pour cette technologie dans les domaines tels que la téléconférence et les environnements virtuels où des études ont montré les bénéfices qu’apportent des avatars pour la collaboration », poursuit la porte-parole de Microsoft Research.

KinÊtre, encore au stade de prototype

Outre sa simplicité de mise en œuvre, l’intérêt de KinÊtre est qu’il ne nécessite pas un matériel puissant pour fonctionner. « KinÊtre peut tourner sur un PC de bureau standard ou un PC portable relativement puissant. Le scan 3D en temps réel avec KinectFusion nécessite un processeur graphique récent tel qu’un NVidia GeForce GTX 580. », précise Rachel Howard.

Cette innovation a été présentée la semaine dernière au 39e salon Siggraph qui s’est tenu à Los Angeles. Cependant, Microsoft s’est montré très vague quant à ses projets concernant KinÊtre et son éventuelle mise sur le marché. « KinÊtre est encore un prototype de recherche que nous continuons à tester. À ce stade, nous n’avons pas d’information à communiquer sur sa disponibilité », nous a-t-on répondu.