Le procédé Muse et l’animation des personnages 3D : dans les coulisses d’une nouvelle approche de la capture de performance.

Propos recueillis et traduits par Pascal Pinteau

Si l’énorme succès remporté par cette adaptation spectaculaire des Tortues Ninja lors de sa sortie américaine, confirmé par ses scores en France, est à porter en partie au crédit du réalisateur Jonathan Liebesman, qui a prouvé son savoir faire dans WORLD INVASION : BATTLE LOS ANGELES et LA COLERE DES TITANS, il est incontestable que l’excellence de l’animation des quatre héros en carapaces et de leur mentor a largement contribué au fait que les spectateurs les trouvent sympathiques, amusants, et éprouvent immédiatement de l’empathie pour eux, clé de la réussite de tout blockbuster. L’aspect de Shredder, leur ennemi en armure aux bras armés de lames géantes est aussi une réalisation de pure animation 3D. Grâce à ces atouts, l’impact des scènes d’action – très bien conçues – a été décuplé. Cet énorme travail artistique et technique a été confié au légendaire studio Industrial Light and Magic, aujourd’hui installé dans le superbe parc du Presidio à San Francisco. Nous nous y sommes rendus pour rencontrer l’équipe des effets visuels et de l’animation du film, dirigée par l’un des piliers du studio, Pablo Helman.

La résurrection de personnages cultes - Entretien avec Pablo Helman, superviseur des effets visuels.

Qu’est-ce qui vous a particulièrement intéressé dans le projet TORTUES NINJA ?

Ce qui le rendait d’emblée très spécial à mes yeux, c’est que tout allait reposer sur la performance des personnages principaux réalisés en images de synthèse. Il fallait trouver la meilleure manière de transposer le jeu des acteurs dans l’animation des tortues. C’était un challenge intéressant à relever.

Il a certainement commencé dès la phase du design, en adaptant l’aspect classique des tortues issu de leurs BDs et séries animées pour les rendre plus réalistes…

Oui. Les premières recherches graphiques ont débuté il y a quatre ans. Dès le début, Michael Bay voulait que ces designs correspondent à ceux de héros de film d’action, et nous sommes allés assez loin dans la musculature des personnages. Mais nous avons fait des recherches dans tous les styles, y compris en donnant aux tortues des allures plus douces, des expressions bienveillantes, et en réduisant leurs tailles pour nous rapprocher de leur apparence la plus connue. Mais nous nous sommes rendu compte que cela ne fonctionnait pas pour des personnages destinés à évoluer dans le monde réel, et après en avoir convenu avec Michael Bay et Jonathan Liebesman, nous sommes revenus à une approche plus crédible, plus humanoïde. Aller vers un look cartoon aurait été une mauvaise décision compte tenu de notre approche photoréaliste. L’autre raison de cette démarche, c’était la volonté de rendre les personnages aussi expressifs et vivants que possible, en jouant sur les mouvements des arcades sourcilières, des yeux, des muscles faciaux autour du nez, et de la bouche. Comme le film allait reposer sur les performances des acteurs transposées sur les personnages 3D, il fallait que toutes les nuances de leurs expressions puissent être « jouées » par les tortues. Quand vous vous exprimez ou que vous observez une personne qui parle en face de vous, il y a des centaines de nuances subtiles qui passent par le regard, la bouche, les plis nasogéniens. Et ce sont ces nuances infimes, toutes ces combinaisons de mouvements qui devaient permettre à nos personnages 3D de porter l’histoire. Dès le début de notre approche, nous avons réalisé que 50% des expressions des acteurs allaient être perdues parce que les morphologies faciales des tortues sont très différentes de celles des visages humains. Et pour que les tortues puissent parler de manière réaliste, il fallait qu’elles aient des lèvres, et que l’on puisse les voir articuler des phonèmes. Après avoir considéré tout cela, nous avons déterminé qu’il fallait créer un nouveau système de capture des performances des acteurs et aussi un nouveau procédé d’interprétation des données recueillies et de transfert automatique de ces données de mouvements sur les personnages 3D, tout en permettant aux artistes et aux animateurs d’ILM d’intervenir pour que le résultat final soit extrêmement réaliste. Pour atteindre ces objectifs, nous avons créé un nouveau système baptisé Muse, qui enregistre de manière scientifique les performances, et qui nous permet aussi d’en faire aisément des montages. C’est l’une des caractéristiques les plus innovantes de Muse : pouvoir effectuer d’emblée un montage des données de performance « brutes » afin d’obtenir ainsi une continuité des meilleurs moments du jeu de chaque acteur dans une scène. Dans les autres systèmes actuels, on enregistre tout, puis on doit faire le tri beaucoup plus tard, une fois que les données ont été transposées en animations. Pour arriver à manipuler les données brutes dans le système Muse, nous avons conçu plusieurs équipements nouveaux. D’abord le casque que porte chaque acteur, qui est équipé pour la première fois de deux caméras HD qui filment le côté droit et le côté gauche du visage. Grâce à cela, nous capturons d’emblée trois fois et demi plus de données que les autres systèmes de Mocap disponibles dans l’industrie. Cela signifie que nous capturions environ un teraoctet (1000 Go) de données chaque jour pour chaque acteur, et que Muse a été conçu pour stocker et gérer ces énormes quantités de données. Je précise que nous avons disposé 138 points de repères sur le visage de chaque acteur, et pour être sûrs de disposer à chaque fois ces « marqueurs » aux mêmes endroits, nous avons fabriqué des masques en plastique translucide d’après des moulages de leurs visages. Ces masques ont été fabriqués avec des imprimantes 3D, et ils sont percés de petits trous qui permettaient de placer les points avec un crayon gras noir. Comme les acteurs bougeaient beaucoup et transpiraient, les points devenaient moins lisibles sur la peau au bout d’un moment, et il fallait les retracer grâce aux masques, et effectuer une recalibration environ trois fois par journée de tournage. Une recalibration, c’est un réglage qui permet de bien réaligner les positions des marqueurs avec les positions de référence 3D des acteurs enregistrées dans l’ordinateur, afin de s’assurer que l’enregistrement de leurs performances sera parfaitement détecté par le système. Cette opération permet de vérifier qu’il n’y a pas de décalage qui s’est instauré entre la position normale des repères et leur aspect à un instant T sur l’acteur, car un décalage fausserait la restitution des expressions et des gestes. On fait aussi des recalibrations des marqueurs des tenues des acteurs, car ils peuvent se décaler après des scènes où les comédiens bougent beaucoup. Pendant l’enregistrement des performances, un technicien voit sur un écran les animations des courbes correspondant aux déplacements dans l’espace de chaque marqueur sur chaque acteur. Donc pour les quatre tortues, il voit quatre séries d’environ deux cent courbes sur son moniteur !

La suite de notre dossier Tortues Ninja / ILM paraîtra bientôt sur ESI !

[En discuter sur le forum]