Interaktives Make-Up mit Cinema 4D Die WOW Studios aus Tokyo kombinierten mithilfe von Cinema 4D eine Live-Aufführung mit 3D – mit beeindruckendem Ergebnis!

Anfang 2016 produzierte das Designstudio WOW in Tokyo mit “Connected Colors” ein Projekt, welches animierte 3D-Grafik und Projection Mapping mit einer Live-Performance verbindet. Das Video entstand für die weltweite Werbekampagne „Experience Amazing“. Intel rief Kreative aus aller Welt dazu auf, Artworks für die Kampagne zu erstellen und wählte den Künstler Nobumichi Asai für ein Face-Mapping-Projekt.

Asai übernahm die Rolle des Creative und Technical Directors und WOW die Produktion der Live Action und der CG Animationen. „Face Mapping ist eine neue Technologie, bei der man bewegte Bilder auf ein Gesicht projiziert und die natürlichen Ausdrücke und die Aussagekraft des Gesichtes als Teil des finalen Ergebnisses nutzt. Es funktioniert ähnlich wie bei der Kunst des Make-up, welche bereits eine Jahrtausende alte Geschichte hat.“

„Jedes der Projekte in Intels Kampagne sollte ein anderes Thema haben. Das Thema der „Connected Colors“ wurde von der vernetzten Welt und Intels Konzept des „Internet of Things“ (IoT) inspiriert. Die vernetzte Welt hat zwei Seiten, auf der positiven Seite bringt sie Effizienz, Optimierung, Harmonie und Symbiose in das Leben der Menschen, auf der anderen Seite benötigt sie Regeln und Administration. Ich wollte mit dem Projekt den Einsatz von Technologie hinterfragen und entschied mich dazu, die positiven Seiten der Vernetzung durch das Kunstwerk auszudrücken.“

„Wenn wir einen technologischen Blick auf das Leben werfen, bemerken wir, dass Tiere, Pflanzen und Insekten alle auf denselben Strukturen – also DNA – basieren und alle unterschiedliche Farben haben. Ich benutzte das Motiv der Farben, die Menschen und alle anderen Lebensformen in der Natur haben und verband diese Farben miteinander.“

Vor seiner Arbeit am Intel-Projekt hatte Asai bereits mit Projection Mapping und Virtual Reality gearbeitet. Sein erstes Projekt mit Projection Mapping war eine private Arbeit mit dem Titel „OMOTE“, später setzte er Face Mapping für das japanische Fernsehen und Musikvideos ein.

Ein wesentlicher Unterschied bei „Connected Colors“ war die benötigte Präzision beim Tracking und bei der Projektion. Fehlende Präzision würde die Latenzabgleichung und Farbwiedergabe beeinflussen und die Zuschauer so irritieren. Darum optimierten Asai, WOWs CG Artist Shingo Abe und sein Team die Latenz, Abgleichung und das Farbsystem der Produktion sowie der Projektionssetups und erhielten so wesentlich bessere Ergebnisse als in Asais vorherigen Projekten.

Mithilfe von Core i7-Prozessoren der sechsten Generation und einem Lichtprojektor verwandelte Asai das menschliche Gesicht in eine Leinwand. Die Prozessoren wurden mit Intels Overclocking Toolkit übertaktet um ihre Performance weiter auszureizen und die Präzision zu erreichen, die Asai wollte.

Asai und Abe wählten ihre Hardware mit Bedacht. „Für das Tracking nutzten wir Motion-Capture-Kameras von OptiTrack, welche mit 240 fps aufnehmen, und Intel-PCs. Für die Projektion nutzten wir einen Projektor von Panasonic mit möglichst geringer Latenz, möglichst hoher Auflösung und dem breitesten Dynamikumfang, den wir bekommen konnten.“

„Für die Animationen und Elemente der animierten Texturen nutzte ich Cinema 4D und nahm das Compositing in After Effects vor, dieser Workflow ist sehr schnell und gebräuchlich für Motiongraphics. So konnte ich sehr schnell viele Iterationen produzieren und hatte genug Zeit um näher an das Ergebnis und die Qualität zu kommen, die ich wollte. MoGraph bietet ebenfalls erstklassige Werkzeuge für ein solches Projekt. Für den Großteil meiner Arbeit nutze ich Adobe After Effects und Cinema 4D in Verbindung mit Photoshop und Adobe Illustrator.“

Zuerst erstellten die Artists einen 3D-Scan vom Gesicht des Darstellers, wickelten die UVW ab, trugen die Textur des Gesichts auf und importierten die Geometrie und die Textur anschließend in Cinema 4D. Nachdem sie ein 3D-Modell des Gesichts erstellt hatten, legten sie Animationen an, die zur UV des Modells passten und brachten die Animation als Textur auf. Dieser Vorgang wurde für jede Animation wiederholt und diese 3D-Modelle wurden zur Quelle der Projektion.

Zuerst erstellten die Artists einen 3D-Scan vom Gesicht des Darstellers, wickelten die UVW ab, trugen die Textur des Gesichts auf und importierten die Geometrie und die Textur anschließend in Cinema 4D. Nachdem sie ein 3D-Modell des Gesichts erstellt hatten, legten sie Animationen an, die zur UV des Modells passten und brachten die Animation als Textur auf. Dieser Vorgang wurde für jede Animation wiederholt und diese 3D-Modelle wurden zur Quelle der Projektion.

Bei der Wiedergabe wurden Position und Rotation des Gesichtes des Darstellers in Echtzeit mit den Tracking-Daten berechnet. So konnten sie genau mit dem 3D-Modell abgeglichen und ein akkurates perspektivisches Abbild auf das reale Gesicht projiziert werden.

“Wir hatten dafür sechs Monate Zeit, in denen wir auch unsere Ideen für das Projekt definieren und die nötigen Wege zu deren Realisierung finden mussten. Schließlich blieb uns ein Monat reine Produktionszeit, während der uns die Schnelligkeit von Cinema 4D sehr weitergeholfen hat.“, sagt Abe.

“Schnell merkten wir, dass einer der ersten und wichtigsten Aspekte beim Face Mapping ist, die sensiblen Reaktionen der Betrachter selbst auf kleinste Inkonsistenzen und Abweichungen in der Harmonie der Darbietung zu berücksichtigen. Verglichen damit, wie das Publikum auf Änderungen in der Präsentation einer Landschaft oder bei Produktaufnahmen reagiert, fiel diese bei der Betrachtung der Gesichter deutlich stärker aus. So war viel Testen angesagt und wir mussten uns durch eine Vielzahl von Versuchen arbeiten.“

Bei drei Animationen waren Cinema 4Ds MoGraph-Tools besonders hilfreich. Die erste ist die Sequenz mit dem Scanvorgang am Anfang des Videos. Später folgen Sequenzen, in der die Haut des Darstellers zu einer schwarz-gelben Echsenhaut und dann Sekunden später zu schwarz-roter Froschhaut wird. 12sec, 50sec, 1.03sec.

In der Scansequenz wurde MoGraphs Vererbungs-Effektor verwendet um den Effekt des 3D-Gitters zu erzeugen, der von der Nase ausgehend über das Gesicht wandert. Mit dem Cel-Renderer, als Post-Effekt angewendet, entstand so ein komplexes Muster.

Für die Sequenz mit der Eidechsenhaut wurde mit dem Shader-Effektor der graduelle Übergang zwischen den Texturen auf der Oberfläche des Gesichts gemacht. Mit dem Random-Effektor wurde das zufällige, frakturierte Muster der Froschhaut erzeugt. Die Übergänge wurden mit Dynamics erzielt, deren Parameter sich auch auf Effektoren anwenden lassen.

Sobald Aussehen und Ausführung dieser Animationen in der von WOW erwarteten Perfektion fertiggestellt waren, wurden mit einer vom Team extra für diesen Zweck erstellten Software die exakten Daten für die Projektion generiert. Obwohl das Projekt eigentlich den Eindruck von Spontanität und Interaktion vermittelt, ist der eigentliche projizierte Film fixiert. Lediglich die Projektion, die auf dem Motion Capturing basiert, war interaktiv. Dadurch konnte das Stück letztlich gezielt in einem Storyboard vorgegeben werden.

In der Performance öffnet und schließt der Darsteller die Augenlider, während sich gleichzeitig die Augen verändern und z. B. das Aussehen von Tieraugen annehmen. Abe erklärt: „Der Darsteller hat dabei nicht wirklich gezwinkert. Was hier zu sehen ist, ist eine projizierte Animation. Dafür haben wir sehr viel Recherche betrieben und eine ganze Reihe von speziellen Erscheinungsbildern für die Augen geschaffen, die wir dann nach und nach immer weiter angepasst haben. Da die Zuschauer im Alltag ständig mit anderen Menschen und deren Gesichtsausdrücken konfrontiert sind, erkennen sie in dieser Gesichtspartie sofort jede Gefühlsänderung und natürlich auch jede Unstimmigkeit. Wir haben Cinema 4D und andere Software dazu benutzt, Vorabversionen des gescannten Gesichtes zu prüfen und anzupassen bis die Gesichtsausdrücke und das Blinzeln schließlich natürlich und überzeugend wirken.“

„Das Modifizieren der Gesichtsdetails ist eine Arbeit, die ein großes Maß an Feinfühligkeit erfordert. Gefühle wie Heiterkeit oder Furcht sind recht einfach zu erzielen, was auch für Grimassen gilt. Gesichtsausdrücke wie Freude, Glückseligkeit oder Sehnsucht jedoch sind subtiler und weit schwerer zu erstellen“, stellt Asai fest.

WOW Webseite:
http://www.w0w.co.jp/en/index.html

Nobumichiasai Webseite:
http://www.nobumichiasai.com/