Combiner Moves by Maxon, des drones et C4D Hobbes dévoile les secrets de la création d'un visage géant avec synchronisation des lèvres dans un clip utilisant 200 drones.
Imaginez, vous vous promenez un soir dans une ville tranquille du Michigan. Vous êtes près de la station de ski locale, mais ce n'est pas la saison, donc les pistes sont calmes et vides. Soudain, vous entendez le bourdonnement de centaines de lumières qui s'élèvent vers le ciel et un gigantesque visage d'une centaine de mètres de hauteur se forme au-dessus de vous, vous regarde et se met à chanter.
Bizarre, vous avez dit bizarre ? Pas du tout ! C'est le pitch du clip du single « High in Heaven » du groupe de rock expérimental VWLS. Hobbes, studio de design et d'animation de Detroit, s'est associé à Firefly Drone Shows pour réaliser ce clip, qui met en scène 200 drones formant un visage qui chante le titre créé par les musiciens de VWLS, Josh Epstein et Louie Louie.
Josh Epstein et Louie Louie se sont servis de leurs iPhones et de l'application gratuite Moves by Maxon app pour capturer leurs mouvements faciaux afin de réaliser cette vidéo originale. Puis l'équipe de Hobbes a importé les enregistrements de ces captures faciales dans Cinema 4D afin de définir la trajectoire de vol des drones fabriqués pour l'occasion par Firefly.
Nous avons contacté Nick Forshee, du studio Hobbes, pour en savoir plus sur ce projet. Voici ce qu'il nous a dit.
Comment avez-vous eu l'idée de ce clip ?
N. Forshee : C'est assez drôle. On nous a demandé de faire un spectacle de drones pour une conférence sur l'intelligence artificielle, et ils voulaient que l'on matérialise en quelque sorte l'intelligence artificielle. Finalement, cette demande a constitué les prémices du visage formé par les drones. Mais l'équipe de Firefly a assisté à la conférence, et nous a raconté que cette représentation de l'intelligence artificielle était super cool, mais qu'elle avait effrayé tous les enfants présents.
Je me souviens d'avoir pensé : « Wahou, si ça a eu autant d'impact, on devrait faire quelque chose avec un visage ». Nous avons fait des essais avec un visage de Père Noël, que nous avons tenté de rendre le plus amusant possible, mais il a quand même fait peur aux enfants. Quant à notre visage de 100 mètres de haut, il se basait au départ sur celui de Josh, mais il s'est transformé en une entité plus cosmique au fil du temps.
Est-ce que tout le travail a été fait à distance en raison de la COVID-19 ?
N. Forshee : Nous avions déjà commencé à travailler à distance avec Josh et Louie avant la COVID-19, si bien que nous avons échangé facilement leurs divers enregistrements et les données de suivi facial par e-mail. Nous nous sommes servis du morphing de poses pour fusionner les enregistrements. Firefly a tout organisé en respectant constamment les consignes de distanciation sociale.
Quel a été le processus pour animer un visage dans le ciel à l'aide de drones ?
N. Forshee : À l'origine, les trajectoires de vol des drones ont été tracées à la main dans Cinema 4D, comme pour les autres représentations que nous avons faites. Mais c'est un processus qui peut s'avérer assez laborieux pour un spectacle de trois minutes. Puis nous avons trouvé Moves by Maxon dans l'app store, et notre vie a changé. Nous avons réalisé que nous pouvions faire un vol complet en pilotant les drones depuis l'application.
Nous avons transféré le maillage de Moves by Maxon dans C4D, avec les coordonnées UV, ce qui nous a donné un aperçu du rendu final et nous a conforté dans l’idée que cela fonctionnerait.
Une fois le maillage obtenu dans C4D, comment le traduit-on en points ?
N. Forshee : Le tracé des points des 200 drones a probablement été l'étape du projet qui a pris le plus de temps. En soi, c'était assez simple, si ce n'était le grand nombre de drones. À partir du moment où l'on choisit un certain nombre de points, on doit les utiliser pour l'intégralité du vol pour aller d'un point à l'autre, donc il faut choisir ses lignes soigneusement.
Nous avons fait en sorte que les lignes de ce visage représentent les axes X, Y, et Z pour la profondeur. Les drones font une sorte de danse en s'éloignant du contour du visage pour aller vers une autre zone ou vers la bouche. Une fois l'ensemble tracé, il nous restait quelques points, et c'est là que nous avons ajouté les dents. Je suis vraiment content que nous l'ayons fait.
Ensuite, il y a la couleur ?
N. Forshee : Oui. Ensuite on joue sur les couleurs et sur leur mise en scène. Tout le spectre des couleurs était disponible, avec à peu près n'importe quelle intensité. Je dirais que la couleur pour le vol des drones nous a pris presque un mois. Nous avons utilisé différents types d'éclairages pour maintenir l'attention des gens pendant les trois minutes. Pendant tout ce temps, nous avons résisté à l'envie de transformer le visage en d'autres objets. Vous savez, et si nous faisions exploser la tête dès le départ ?
Mais comment tout ce travail passe-t-il de Cinema 4D aux drones eux-mêmes ?
N. Forshee : Les 200 points correspondent en fait à des images clés en XY et Z à chaque instant d'un vol. L'une de nos astuces consiste à travailler à l'échelle du monde réel. Ce sont les unités que nous utilisons dans Cinema, si bien qu'elles sont facilement transposables aux données des drones. Moves by Maxon donne un visage qui est à peu près de la taille d'un humain. Tout ce que nous avons eu à faire a été de conformer le vol final dans un fichier Alembic, qui offre la possibilité de mettre à l'échelle. Nous l'avons agrandi 300 fois avant de réaliser le tracé des drones. Nous n'avons absolument rien déplacé manuellement sur le visage jusqu'à ce que toute la tête explose. Le reste du vol a été entièrement exécuté grâce à notre capture.
Comment s'est passée l’installation sur place ?
N. Forshee : Ça fait beaucoup choses à faire manuellement. Ne serait-ce que mettre en place tous les drones sur le terrain prend une demi-heure. Chaque drone télécharge la totalité de la trajectoire de vol pour pouvoir communiquer sa position sur la Terre. Ensuite, les drones essaient de suivre les points préenregistrés et, de manière assez surprenante, ils sont capables d'être très précis.
Fascinant ! Avez-vous d'autres projets de captures faciales ?
N. Forshee : Oui. Nous expérimentons sans cesse. En fait, à peine ce projet terminé, nous nous sommes dit : « OK, au suivant ! ». Chez Hobbes, Samantha Griffith a eu l'idée d'utiliser l’autre fonctionnalité, à savoir une capture du corps entier avec Moves by Maxon. Nous envisageons de faire toute une chorégraphie de danse avec les drones.
Nous avons toujours de drôles d'idées à expérimenter.