Die Zukunft der virtuellen Produktion ist da Wie die Extended Reality Group dabei half, Echtzeit-3D-Sets mit Superstars aus Las Vegas zum Leben zu erwecken.
Das virtuelle Produktionsstudio Extended Reality Group (ERG) ist bekannt für die Entwicklung origineller Hightech-Erlebnisse und Präsentationen für Unternehmen wie Ford und General Motors. Doch nichts ist vergleichbar mit dem Ausmaß der jüngsten "Stay Fabulous"-Kampagne von Resorts World Las Vegas, an der sie kürzlich mitgearbeitet haben.
In Zusammenarbeit mit Psyop und Hooray Agency setzte ERG Cinema 4D, Unreal Engine und Houdini ein, um einen kurzen Werbespot zum Auftakt der Stay Fabulous"-Kampagne zu erstellen, in dem Celine Dion, Carrie Underwood, Katy Perry, Luke Bryan, Tiësto und Zedd zu sehen sind.
Der Film wurde mit der gleichen Spitzentechnologie wie "The Mandalorian" gedreht und ist der erste Werbespot, der vollständig mit einer virtuellen Produktion in der Kamera auf einem LED-Volume umgesetzt wurde.
Wir wollten mehr über die Entwicklung der 3D-Sets im Volumen erfahren und sprachen mit den ERG-Gründern und Produzenten Zack Kingdon und Evan Glantz sowie dem Senior Technical Artist Patrick Beery.
Erzählt uns von dem Projekt. Wie lautete der Auftrag und wie wurde das Projekt beschrieben?
Glantz: Als wir das erste Mal mit diesem Projekt konfrontiert wurden, wurden wir gebeten, 3D-modellierte Assets zu erhalten, damit wir die Geometrie und Texturen für den Import und den Workflow mit der Unreal-Engine und die Anzeigeanwendung auf einer Bühne mit LED-Volumen optimieren konnten.
Wir wurden auch mit der Beleuchtung der Szene und dem letzten Schliff beauftragt und arbeiteten dabei direkt mit dem Creative Director Marco Spier zusammen. Als das Projekt weiter fortgeschritten war und der kreative Umfang sich änderte, um zusätzliche Szenen einzubeziehen, wuchs unser Beitrag und wir kümmerten uns auch um die kreativen Dienstleistungen, die für das Design und die Erstellung der neuen Umgebungen benötigt wurden.
Habt ihr die LED-Volumentechnologie bei diesem Projekt zum ersten Mal eingesetzt?
Kingdon: Nein. Wir haben Volumes schon in der Vergangenheit verwendet, in letzter Zeit haben wir mehrere Aufnahmen für die Ford Motor Company, General Motors und eine Handvoll anderer gemacht. Aber dies war definitiv ein sehr hochkarätiges Projekt.
Glantz: Das Besondere an diesem Projekt war, dass wir keinen LED-Boden verwendet haben und praktische und physische Set-Pieces hatten. Viele der anderen Arbeiten, die wir mit Volumes gemacht haben, beinhalteten eine Form von LED-Boden. Ähnlich wie bei einer Greenscreen-Bühne ermöglichen LED-Böden mit einem Volume, dass die virtuelle Welt die Schauspieler, Requisiten und die Kamera vollständig umschließt.
Bei den meisten Shootings mit einem LED-Boden besteht der Mehrwert darin, dass der Boden und andere Elemente der Umgebung zusammenpassen, da sie von derselben Software generiert werden. Ein bekanntes Beispiel hierfür ist der Auftritt von Katy Perry bei American Idol, bei dem der LED-Boden zusammen mit dem restlichen LED-Volumen verwendet wurde, um sie in verschiedene Umgebungen zu versetzen, die sich während des Liedes bewegten und veränderten und in einem einzigen Shot in der Kamera festgehalten wurden.
Bei diesem Shooting hatten wir ein fantastisches Live-Action-Setdesign-Team, das einen geerdeten Raum für die Schauspieler schuf, in dem sie spielen und mit dem sie interagieren konnten. Es war das erste Mal, dass wir etwas in dieser Größenordnung gemacht haben, indem wir virtuelle Kulissen mit realen Kulissen vermischt haben.
Wie haben die prominenten Schauspieler auf die Arbeit in dieser Umgebung reagiert?
Beery: Sie waren so aufgeregt, dass sie reingehen und die Umgebung sehen konnten. Zedd sagte, es habe ihm geholfen, in Stimmung zu kommen. Aber es gab auch einige Herausforderungen, wie zum Beispiel, dass Carrie Underwood in ihrer Szene Schwierigkeiten hatte, auf den Klavierstufen zu laufen, weil die Kulissen so scharfkantig waren.
Bitte erzählt uns etwas über die 3D-Assets und darüber, wie sie für die Band vorbereitet wurden.
Beery: Psyop hatte ein Team, das einen Großteil der grundlegenden Modellierung und der vorläufigen Modellierung für Dinge wie die Flipper-Szene übernommen hat. Nachdem das fertig war, habe ich sie in Cinema 4D neu texturiert, weitere Details hinzugefügt, um die Beleuchtung zu verbessern, und zusätzliche Inhalte oder Objekte hinzugefügt, die wir für nötig hielten. Einige der Partikelsimulationen, wie das Stay Fabulous-Logo, haben wir mit C4D und X-Particles erstellt, sie importiert und in eine Vertex-Animation eingefügt.
Die Arbeit mit diesen Echtzeitszenen ist ein Balanceakt. Auf deinem Computer läuft es vielleicht mit 120 Bildern pro Sekunde, aber wenn du all die verschiedenen Systeme und das Tracking anschließt, kann die Hälfte der Bildrate verloren gehen. Deshalb muss deine Szene optimiert sein und so reibungslos wie möglich laufen.
Wie war der Workflow zwischen den Kulissenbauern und den 3D-Set-Erweiterungen?
Glantz: Als es darum ging, dass die Set-Design-Firmen die Dinge nachbauen, die wir virtuell geschaffen haben, war es eine Mischung aus dem Austausch von Modellen, Assets und Screenshots der Teile, die sie nachbauen wollten. Es gab auf jeden Fall eine ordentliche Portion Tech-Viz.
Beery: Wir hatten ein paar großartige Konzeptskizzen von Psyop, die uns bei der Gestaltung des Looks sehr geholfen haben und uns tolle Referenzen lieferten, die wir perfekt anpassen konnten.
Kingdon: Das Team, das für die praktische Arbeit zuständig war, war unglaublich beeindruckend, weil es die praktischen Teile so schnell herstellen konnte.
Beery: Am Anfang wussten wir nicht wirklich, wie die Kulissen aussehen würden, aber als wir vor Ort waren, konnten wir unsere virtuelle Kulisse anpassen. Die Klaviertasten in Carrie Underwoods Szene waren zum Beispiel viel zackiger und rauer, als wir erwartet hatten.
Ich habe sie in Cinema 4D sehr schnell umgestaltet, damit wir alles in die Szene einbauen konnten. Es gibt ein paar Dinge, bei denen die Praxis nicht hundertprozentig übereinstimmt, also mussten wir schnell ein paar Anpassungen vornehmen, die UVs überarbeiten und solche Dinge, damit wir sie in die Unreal Engine importieren konnten.
Wie groß war das Zeitfenster für solche Anpassungen?
Beery: Der Regisseur wird nicht drei Stunden lang warten, während du Anpassungen vornimmst. Also, ehrlich gesagt, erledigen wir die Dinge so schnell wie möglich. Wenn etwas länger als ein oder zwei Stunden dauert, müssen wir uns damit auseinandersetzen und eine andere Lösung finden. Wir hatten zwar zwei Tage Vorbereitungszeit, aber wir mussten eine Menge Szenen durchgehen. Und diese Zeit ist wirklich kritisch für den Regisseur und den Kameramann.
Kannst du einige der Herausforderungen des Projekts beschreiben?
Beery: Die Unterwasserszene mit dem Boot war eine Herausforderung. Wir haben eine neue Technik entwickelt, die wir das LED-"Pflaster" nennen. Im Wesentlichen mussten wir herausfinden, wo die Kamera platziert werden sollte, damit wir eine Naht zwischen dem Volumen und dem Boot erzeugen konnten.
Glantz: Wir kamen auf das Konzept, als wir einige Tests durchführten. Wir stellten eine DJ-Kabine für einige Musik-Livestreams während der Pandemie auf und fügten eine zweite LED-Wand als weitere Ebene hinzu. Du hast also deine Haupt-LED-Wand im Hintergrund, die als Volumen dient, und eine weitere kleinere LED-Wand vor der Kabine. Beide Bildschirme verfolgen den Inhalt und zeigen ihn an, und aus dem richtigen Winkel zeigt die Kamera ihn als ein nahtloses Bild an.
Wir haben diese Technik für die Bootsszene genutzt, indem wir einen zweiten Bildschirm vor dem Bootsset aufgestellt haben. Auf diese Weise konnten wir das Wasser unter dem Boot so darstellen, dass es zur LED-Wand hinter dem Boot passte. Das haben wir bei ähnlichen Produktionen noch nie gesehen, und NantStudio und Lux Machina, die bei der Entwicklung dieser Technologie eine Vorreiterrolle spielen, waren wirklich beeindruckt, wie gut das funktioniert hat.
Verwenden alle Artists am Set die gleiche Software um Assets in Unreal zu portieren?
Beery: Das Tolle an Unreal ist, dass es nicht von anderen Programmen abhängig ist. Ich habe viel mit Cinema 4D und Houdini gearbeitet, und jemand anderes vor Ort hat Maya benutzt, aber wir konnten alle ohne Probleme Unreal benutzen. Am Set waren wir eigentlich zu zweit und haben alle Änderungen an den Szenen vorgenommen, ich und Bryan Brown von NantStudios. Er arbeitet seit Jahren im Bereich Grafik und Gamedesign und es war schön, mit ihm zusammenzuarbeiten.
C4D ist unser Hauptwerkzeug, und es ist so einfach, damit zu arbeiten, weil man nicht so viele Voreinstellungen vornehmen muss. In Houdini hat man nicht immer die Zeit für die Entwicklung. Aber mit Cinema 4D kannst du einfach mit Deformern, Falloffs und solchen Dingen loslegen. So können wir die Dinge, die wir tun müssen, schnell erledigen.
Erzählt uns von der Beleuchtung. Wie viel Licht kommt aus dem Volumen und wie balancierst du das mit dem Licht am Set aus?
Beery: Es ist ein ständiges Hin und Her. Sie bringen praktisches Licht in den Raum, und das ist mehr Umgebungslicht mit Reflektionen. Es ist ziemlich einfach für uns, die Farbe zu ändern, wenn wir eine praktische Szene ausleuchten wollen. Wir planen unser Lichtsystem und wissen, dass es sich am Set ändern wird. Wir backen die Lichter nicht ein, sondern lassen sie dynamisch, so dass wir sie in Unreal mit Multi-User-Editing ändern können. So müssen wir nicht die ganze Szene im Volume auseinandernehmen, nur um ein Licht zu ändern.
Glantz: Für diese spezielle Pipeline hatten wir zwei Beleuchtungschefs vor Ort, was wirklich hilfreich war. Wir hatten jemanden vor Ort, der bei der Kontrolle der Nachbearbeitung half, damit sie dem Kameramann zuhören und bei den Änderungen helfen konnten.
Wie lange dauert die Nachbearbeitung nach einer Produktion?
Beery: Der Cutter hat geschnitten, während wir dort gedreht haben. Es ist also alles ein Echtzeit-Prozess. Ich glaube, wir hatten einen Tag nach Drehschluss den Schnitt fertig. Das ist das Schöne an dieser Art von Produktion: Der gesamte Nachbearbeitungsprozess beschränkt sich größtenteils auf die Farbkorrektur. Alles andere kommt direkt aus der Kamera.