Un esprit des plus curieux Ou comment CreamVR, Thought Café et Torus Media se sont associés afin de créer une série utilisant du VR à 360° VR pour explorer l'univers.

Dominic Monaghan (Le Seigneur des Anneaux, Lost), l'animateur de A Curious Mind de Hulu, montre la voie aux spectateurs qui voyagent dans l'espace et explorent des questions intrigantes sur l'univers et la science. Inspiré du Cosmos de Carl Sagan, le contenu de cette série est captivant en soi. Mais le fait qu'il offre aux téléspectateurs une expérience immersive de 360° VR le place dans une catégorie bien à part en ce qui concerne le réalisme.

CreamVR, de Toronto, a mis au point A Curious Mind après avoir discuté avec Hulu de la création de contenu pour le lancement du casque MR de Microsoft. Parce que tout, à l’exception de Monaghan, se devait d’être en images de synthèse, CreamVR a fait appel au studio d'animation et de VFX studio Thought Café pour diriger la création de l'environnement 360° du spectacle en utilisant une large variété d'outils, dont Cinema 4D de Maxon, After Effects, Canvas 360 et CV-VRCam, qui permet à Cinema 4D de faire un rendu en 360 degrés avec le moteur standard de l’application.

La direction envisagée pour ce projet était assez ouverte, mais CreamVR a clairement indiqué souhaiter quelque chose d'extraordinaire, quelque chose qui permettrait aux téléspectateurs de se sentir vraiment comme s'ils étaient littéralement à l'intérieur des aventures qui se déroulaient à l'écran. Thought Café était prêt à relever le défi, mais des problèmes ont surgi lorsque l'équipe a essayé de restituer une partie des images stéréoscopiques de Cinema 4D.

Jon Corbiere, directeur créatif de Thought Café et Tyler Sammy, directeur technique, ainsi qu'Aden Bahadori, PDG de Torus Media Labs, nous expliquent comment l'équipe a créé cette série à couper le souffle et résolu leurs problèmes techniques avec l'aide des développeurs de Maxon.

Corbiere: Thought Café est un studio de design, d'animation et d'effets numériques et nous nous concentrons presque entièrement sur la création de contenu factuel pour l'éducation, les documentaires ou les projets liés à une cause précise. Au cours des dernières années, notre collectif d'artistes, d'animateurs, d'illustrateurs et de producteurs a exploré le travail en VR parce que beaucoup d'industries essaient de comprendre dans quelle mesure le VR pourrait leur apporter quelque chose. La réalité virtuelle s'adapte naturellement au contenu éducatif, c'est pourquoi nous avons fait des choses ici et là. Nous avons travaillé avec certains des créatifs de CreamVR et ils nous ont contactés pour voir si nous voulions travailler avec eux sur ce projet.

Bahadori: Oui, nous avons une longue relation avec Andrew MacDonald, un des directeurs créatifs de Cream. Ils nous ont contactés très tôt parce qu'ils savent que le tracking via caméra stéréoscopique peut être difficile. Les gens disent que la vidéo à 360° est un format déroutant, et ça peut effectivement l'être. C'est pourquoi Mike Sevigny et moi avons fondé Torus Media Labs et avons commencé en fabriquant nos propres outils. Il n'y avait pas d'outils disponibles pour faire le suivi de caméra à 360 degrés, c’est pourquoi nous avons développé Canvas 360 et l'avons rendu disponible pour que d'autres puissent l'utiliser.

Corbiere: Dès le début, nous avons décidé que cette série serait différente de ce qui existait déjà. Au lieu de plans statiques, nous voulions beaucoup de caméras mobiles et des plans issus de caméra montées sur grue. Nous ne voulions pas que l'animateur se contente de se tenir devant une caméra statique à 360° où il avait l'impression que rien ne se trouvait dans son environnement. N'importe qui peut prendre une photo statique et mettre un personnage dans un autre arrière-plan. Avec une caméra mobile, ce que vous voyez est plus authentique. La plupart des séquences d'action sont filmées avec une caméra tenue à la main, donc nous voulions filmer Dominic avec une caméra à main montée sur une grue, comme une Steadycam. Nous avons également filmé sous différents angles et à différentes distances pour qu'il soit cadré correctement avec tous les graphismes qui l'entouraient.

Sammy: Nous sommes des consommateurs de contenus VR, donc nous avons été malades en nous efforçant d’en visualiser depuis ses débuts. Chaque fois nous pensions la même chose : "C'est vraiment bien, mais pourquoi l'exécution doit-elle être si terrible ? Nous voulions en faire une expérience époustouflante qui ne rendrait pas les gens malades. Lors de nos premières discussions avec Cream, nous avons décidé de vraiment pousser les choses techniquement et de faire quelque chose qui n'avait pas été fait ni dans l'espace 3D ni en 360. Nous avions l'intention d'utiliser un dolly techno pour avoir les données réelles de la caméra. Mais en raison de l’indisponibilité du matériel et de la planification ardue des talents qui n'a finalement pas fonctionné, Andrew nous alors suggéré de contacter Torus Media Labs.

Bahadori: Nous savons que Canvas 360 peut déplacer les données de scène d'After Effects vers Cinema 4D. Mais les choses se sont compliquées lorsque nous avons introduit l'aspect stéréoscopique. Canvas 360 n'a pas été conçu pour un flux de travail stéréoscopique, mais Mike Sevigny, notre co-fondateur, développait déjà des outils S3D360 en interne chez Torus Media Labs. La tâche difficile, à l'époque, était de faire correspondre exactement le mouvement de la caméra stéréoscopique rectiligne de manière quasi transparente avec les rendus stéréoscopiques 360. Depuis lors, nos outils stéréoscopiques, Canvas STK, ont été lancés sur le marché.

Sammy: Au début de la phase de test, Thought Cafe a identifié un bug dans le CV-VRCam qui les empêchait de rendre les scènes avec des données de suivi de caméra précises. Le problème était que les scènes ne s'affichaient pas correctement si l'appareil photo était incliné. Une grande partie de la vidéo était tournée avec l'appareil photo incliné intentionnellement vers le bas, ce qui posait donc un problème. Nous avons contacté Maxon et ils nous ont mis en contact avec certains de leurs développeurs travaillant sur ces plug-ins. Nous avons alors appelé et nous leur avons dit : " Hey, nous avons ce projet fou et littéralement tout le monde dit que nous sommes fous d'essayer de le faire ". C'était génial parce qu'ils ont compris ce dont nous avions besoin et qu'ils nous ont permis d'utiliser une première version bêta de CV-VRCam pour rendre les images inclinées. Ce n'est plus un problème de nos jours et ce depuis Cinema 4D R19.

Bahadori: La R&D sur ce projet est ce qui a solidifié la base de nos nouveaux outils stéréoscopiques, Canvas STK. L'une des principales caractéristiques qui le distingue est que Canvas STK vous permet de prévisualiser dans plusieurs formats différents, y compris ceux pris en charge par les moniteurs 3D et les téléviseurs 3D. Cela signifie que vous pouvez pointer la caméra dans n'importe quelle direction et prévisualiser l'image stéréoscopique sur un support 3D réel sans avoir à mettre et enlever le HDM en essayant de positionner les éléments.

Sammy: Nous continuons à produire régulièrement du contenu numérique traditionnel et interactif pour le web, la diffusion et les longs métrages, tout en développant de nouveaux projets dans les domaines VR, AR et XR (réalité croisée). Récemment, nous nous sommes inspirés de ce que nous avons appris en travaillant sur A Curious Mind pour créer deux nouvelles expériences stéréoscopiques à 360° qui combinent action en direct et infographie pour offrir des expériences éducatives unique.

Crédits
Mike Sevigny, Directeur technique / Traqueur stéréoscopique
Animation & VFX par Thought Cafè