Ein Blick hinter die Kulissen des Videos "Okay" von Autre Ne Veut John Robson erklärt, wie er Motion Capture eingesetzt hat, um eine emotionale menschliche Performance in einem Musikvideo zu schaffen.
John Robson arbeitet seit mehr als zwei Jahrzehnten als Motion Designer und Regisseur. In seiner Freizeit ist er jedoch ein talentierter Filmemacher, der immer eine Herausforderung sucht und oft auf unkonventionelle Weise arbeitet.
Als er versuchen wollte, Motion Capture und Apples ARKit mit Cinema 4D, Houdini und Redshift zu kombinieren, um eine emotionale menschliche Performance einzufangen, wandte er sich an einen Musiker, mit dem er schon immer zusammenarbeiten wollte - Autre Ne Veut.
Es war eine schwierige Zusammenarbeit, da Autre Ne Veut (Arthur Ashin) in New York City lebt und Robson in Portland ansässig ist. Aber die beiden verstanden sich auf Anhieb, und zufälligerweise hatte Autre Ne Veut gerade eine Single mit dem Titel "Okay" fertiggestellt, die er veröffentlichen wollte. So kamen sie auf die Idee, ein Video zu machen, ohne sich persönlich zu treffen und etwas zu filmen.
Wir sprachen mit Robson über einige der ungewöhnlichen Methoden, die sie dabei angewandt haben, z. B. wie er die Szenen im Ozean kreierte, indem er auf einem Yogaball schwamm und dabei einen Motion-Capture-Anzug trug.
Erzähl uns, was du in letzter Zeit so gemacht hast, John.
Robson: Ich habe als Regisseur bei HouseSpecial gearbeitet, aber letzten Sommer bekam ich einen Anruf von Samsung. Sie hatten meine Filme über den digitalen Menschen verfolgt, wie z. B. "Safety First", und sie haben eine eigene Abteilung für digitale KI namens Neon.
Das ist eine Gruppe von unglaublich talentierten Wissenschaftlern und Ingenieuren, die über einen Wissensschatz verfügen, der gleichermaßen inspirierend und verblüffend ist. Sie haben sich an mich gewandt, weil sie einen Storyteller suchten, der ihnen dabei hilft, die digitalen Menschen, an denen sie arbeiten, für die Öffentlichkeitsarbeit und das Marketing zu beschreiben und darzustellen.
In den letzten Monaten habe ich eine Menge gelernt, und das hat mir in technischer Hinsicht als Filmemacher und Geschichtenerzähler geholfen.
Beschreibe, wie du und Autre Ne Veut auf die Idee für das Video zu "Okay" gekommen seid.
Robson: Ich war gerade dabei, "Okay" fertigzustellen, als ich den Job bei Samsung bekam. Nachdem ich bei früheren Projekten Mixamo benutzt und von Hand animiert hatte, wollte ich unbedingt etwas machen, das die menschlichen Gefühle besser einfängt.
Arthur hatte die Vision, in einem endlosen Ozean zu sein und dies als Metapher für die Beziehung zu verwenden, von der er in "Okay" singt. Praktisch gesehen ist es jedoch gefährlich und teuer, im Meer zu drehen, also dachte ich mir, dass es der perfekte Zeitpunkt war, mein neues Motion-Capture-Rig auszuprobieren.
Ich liebe seine Stimme, und seine Videos sind immer sehr künstlerisch. Die Geschichte handelt von Isolation und Duldung in dieser endlosen Leere unter dem Meer. Es gab viel zu bedenken, weil man Reflexionen und Beleuchtung berücksichtigen muss. Ich habe den Großteil des Konzepts in Houdini entwickelt und einen Freund von HouseSpecial gebeten, einen endlosen Ozean zu erstellen. Ich habe auch einige prozedurale Seetangwälder erstellt und Redshift für die Beleuchtung verwendet.
Da er in Brooklyn wohnt und ich in Portland, und wir nur ein kleines Budget hatten, haben wir miteinander korrespondiert und das hat wirklich gut funktioniert. Er schickte mir eine Reihe von Fotos von sich selbst und nahm seine Gesichtsaufnahmen mit dem iPhone auf. Ich wollte die Feinheiten seines Gesangs herausfinden, bevor ich versuchte, das Ganze in meinem Keller zu animieren.
Erkläre uns einige der Highlights dieses Prozesses.
Robson: Ich habe versucht, mich nicht lächerlich zu machen, aber das war schwierig, da ich nur wenige oder gar keine Keyframes hatte und so gut wie alles als Performance-basierte Aufnahme machen musste. Ich habe mit einigen Figuren aus Mixamo angefangen, bevor ich den Anzug bekam, aber sobald ich ihn hatte, habe ich ihn angezogen und alles nachgespielt, was in der Szene passierte.
Die Figur in dem Video schwimmt viel, also habe ich mich auf den Yogaball gelegt und einen Take gemacht und mich dann auf meinen Stuhl gesetzt, um meine Armbewegungen aufzunehmen und alles in einem weiteren Take zusammenzufügen. Da ich größer bin als er, musste ich das Rigg anpassen, um ihm ähnlicher zu werden. Es war interessant, den Kopf und den Körper so zu gestalten, dass er wie eine Einheit aussieht. Die Umgebung wurde prozedural um die Figur herum aufgebaut, z. B. mit Felsen und Seegras aus Megascans.
Auch wenn ich mich entscheide, in Unreal oder Houdini zu animieren, ist Cinema 4D immer meine erste Wahl für Previsits, weil die Kameras großartig sind und der Prozess des Erforschens von Aufnahmen und des Experimentierens schnell geht, was wirklich wichtig ist. Damit fange ich also an und exportiere dann nach Houdini oder in das Programm, mit dem ich fertig bin.
In diesem Fall habe ich Redshift in Houdini für Beleuchtung, Texturierung und Rendering verwendet und Nuke für das Compositing. Magic Bullet Looks half mir dabei, die gewünschte Filmemulation zu erzielen. Der Schnitt und die endgültige Farbgebung erfolgten mit Black Magic Resolve.
Kannst du mehr über deinen Modellierungsprozess erzählen?
Robson: Ich habe mir einen Photogrammetrie-Scan von Arthur besorgt und diesen an einen Körper angeheftet. Dann habe ich den perfekten Kopf, den ich vorbereitet hatte, neu eingepackt und ihn in die Form seines Kopfes gemorpht.
Es ist sehr schwierig, die Bandbreite menschlicher Gesichter zu erfassen. Manchmal muss man Hunderte von Überblendformen verwenden, um den richtigen Ausdruck zu erzielen. Aber es ist beeindruckend, dass man das jetzt auch auf Verbraucherebene machen kann. Ich bin gespannt, wie sich die Technologie weiterentwickelt.
Arthur war ziemlich begeistert von dem Prozess, auch wenn es diesen seltsamen Moment gab, als er eine digitale Version von sich selbst sah und das Gefühl hatte, dass er es war, aber nicht er. Auf kreativer Ebene sind wir uns ähnlich, aber er hat mir sehr viel Vertrauen entgegengebracht. Seine Filme waren immer Live-Action und eher im Arthouse-Stil. Mit diesem Verfahren konnten wir eine Geschichte erzählen, die mit Live-Action unmöglich zu realisieren gewesen wäre.
Was haben die Leute über das Video gesagt?
Robson: Die Reaktion war großartig. Sie haben gesagt, dass sie so etwas noch nicht gesehen haben. Ich glaube, die Leute sind ziemlich begeistert von den neuen Möglichkeiten, Geschichten zu erzählen und Menschen darzustellen, vor allem auf Indie-Ebene.
Aber das war keine Technik um der Technik willen. Es war eine Lösung, weil wir im echten Leben nicht zusammenarbeiten konnten. Und ich glaube nicht, dass die Steuerung des Prozesses durch Daten die traditionelle Charakteranimation ersetzen wird. Ich meine, die Pixar-Filme sind so schön, und sie haben alle ihren eigenen Platz.