Kombination von Moves by Maxon, Drohnen und Cinema 4D Das Animationsstudio Hobbes erklärt, wie es mit 200 fliegenden Drohnen ein riesiges lippensynchrones Gesicht für ein Musikvideo erstellt hat.

Stell Dir vor, Du gehst eines Abends durch eine ruhige Stadt in Michigan. Du befindest Dich in der Nähe des örtlichen Skigebiets, aber es ist gerade Nebensaison, also sind die Pisten ruhig und leer. Plötzlich hörst Du das Summen von Hunderten von fliegenden Lichtern, die in den Himmel steigen, und über Dir erscheint ein gigantisches, 100 Meter hohes Gesicht, das Dich anzustarren scheint und singt.

Klingt wie ein bizarrer Fiebertraum? Weit gefehlt. Du hast gerade einen Blick auf das Musikvideo der experimentellen Rockband VWLS zur Single "High in Heaven" geworfen. Hobbes, ein Design- und Animationsstudio aus Detroit, hat sich mit Firefly Drone Shows zusammengetan, um das Video zu produzieren, in dem 200 fliegende Drohnen in Form eines fliegenden Kopfes die Musik der VWLS-Musiker Josh Epstein und Louie Louie lippensynchron begleiten.

Epstein und Louie nutzten ihre iPhones zusammen mit der kostenlosen Moves by Maxon App, um ihre Gesichtsbewegungen für das außergewöhnliche Video zu erfassen. Das Hobbes-Team übertrug die Daten der Gesichtsaufnahmen in Cinema 4D, um die Flugbahn für die speziell angefertigten Firefly-Drohnen zu entwerfen.

Wir haben mit Nick Forshee von Hobbes gesprochen, um mehr über das Projekt zu erfahren.

Forshee: Es ist schon irgendwie lustig. Wir wurden gebeten, eine Drohnen-Show für eine Konferenz über künstliche Intelligenz zu machen, und sie wollten eine Art Darstellung von künstlicher Intelligenz. So wurde das fast zur Beta-Version dieses Drohnengesichts. Aber die Jungs von Firefly waren auch auf der Konferenz, und sie kamen zurück und sagten, dass das KI-Gesicht supercool war, aber es hat allen Kindern, die da waren, Angst gemacht.

Ich erinnere mich, dass ich dachte: "Oh Mann, wenn es so eine Wirkung hat, sollten wir auch etwas mit einem Gesicht machen. Wir testeten es mit einem Weihnachtsmann-Gesicht und versuchten, es kindgerecht zu gestalten, aber es erschreckte die Kinder trotzdem. Unser 90 Meter großes Gesicht basierte auf Joshs Konterfei, entwickelte sich aber mit der Zeit zu einem kosmischen Wesen.

Forshee: Wir hatten bereits vor Corona begonnen, mit Josh und Louie aus der Ferne zu arbeiten, sodass sie mehrere Performances aufnahmen und wir die Gesichts-Tracking-Daten einfach per E-Mail erhielten. Wir benutzten Pose-Morphs, um die Performances zu überblenden. Firefly richtete alles ein und hielt sich bei all dem an die Social Distancing Regeln.

Forshee: Die Flugbahnen der Drohnen wurden ursprünglich von Hand in Cinema 4D animiert, wie bei den anderen Performances, die wir gemacht haben. Aber das kann ein ziemlich aufwändiger Prozess für eine dreiminütige Show sein. Dann haben wir Moves by Maxon im App-Store gefunden, und damit kam eins zum anderen. Uns wurde klar, dass wir mit der App eine komplette Performance mit den Drohnen steuern können.

Wir brachten das Mesh aus Moves by Maxon in C4D. Es verfügt über UV-Koordinaten, also malten wir einfach eine grobe Variante davon, wie unser Design aussehen würde. Das gab uns ein Gefühl dafür, dass es übersetzbar sein würde, und wir stellten fest, dass das Design sogar in seiner groben Form wirklich gut funktionierte.

Behind The Scenes Video ansehen

Forshee: Das Plotten der Punkte der 200 Drohnen war wahrscheinlich der zeitaufwändigste Teil des Projekts. Es war fast wie ein riesiges Lite-Brite Spiel, nur dass man nur 200 Punkte hatte. Wenn man sich einmal auf eine Anzahl von Punkten festgelegt hat, muss man diese für eine ganze Show verwenden und sich von Punkt zu Punkt bewegen, also muss man seine Linien mit Bedacht wählen.

Wir wählten jede Linie in diesem Gesicht so, dass sie die X-, Y- und Z-Tiefe repräsentierte, so dass es zu einem Tanz wurde, bei dem wir Drohnen von der Kontur des Gesichts wegzogen und sie zu einem anderen Bereich hinzufügten, oder sie zum Mund hinzufügten. Nachdem wir das ganze Ding geplottet hatten, blieben ein paar Punkte übrig, und dort haben wir die Zähne platziert. Ich bin wirklich froh, dass wir das gemacht haben.

Forshee: Ja. Es wird ein Spiel mit der Farbe und der Inszenierung der Farbe. Wir hatten das gesamte Farbspektrum in so ziemlich jeder Intensität zur Verfügung. Ich würde sagen, wir haben fast einen Monat lang an den Farben für die Drohnenshow gearbeitet. Wir haben nach und nach verschiedene Beleuchtungsmuster eingeführt, weil wir drei Minuten Zeit hatten, um die Aufmerksamkeit der Leute zu halten. Währenddessen kämpften wir wirklich gegen den Drang an, das Gesicht in andere Objekte zu verwandeln. Wissen Sie, wenn wir den Kopf gleich zu Beginn explodieren lassen, was kommt dann als nächstes?

Forshee: Die 200 Punkte sind im Grunde Keyframes in XY und Z zu jedem gegebenen Zeitpunkt einer ganzen Show. Ein Trick, den wir verwenden, ist, mit einem realen Maßstab zu arbeiten. Das sind die Einheiten, die wir in Cinema verwendet haben, so dass sie sich sehr gut auf die Drohnendaten anwenden lassen. Moves by Maxon gibt dir ein Gesicht, das ungefähr die Größe eines menschlichen Kopfes hat. Alles, was wir also tun mussten, war, die endgültige Performance in ein Alembic File zu backen, das eine wirklich schöne Option zum Hochskalieren hat. Wir haben es 300 Mal vergrößert und dann die Drohnen dazu geplottet. Wir mussten nichts manuell im Gesicht bewegen, bis der ganze Kopf explodierte. Der Rest der Show wurde komplett von unserem Capture erledigt.

Forshee: Es ist eine Menge Handarbeit. Allein das Verteilen aller Drohnen auf dem Feld dauert eine halbe Stunde. Jede Drohne lädt die gesamte Flugbahn herunter, damit sie mitteilen kann, wo sie sich auf der Erde befindet. Dann versuchen die Drohnen im Grunde, bestimmte Wegpunkte anzufliegen, und es ist schon fast bizarr, wie supergenau sie das schaffen.

Forshee: Ja. Wir sind immer am Experimentieren. Ich meine, sobald wir damit fertig waren, dachten wir: „Okay, wir haben es geschafft. Wir sind fertig. Der Nächste!“ Samantha Griffith von Hobbes hatte diese ziemlich coole Idee, die Kehrseite von Moves by Maxon zu nutzen, nämlich eine Ganzkörperaufnahme. Wir überlegen, eine Ganzkörper-Tanzchoreografie mit den Drohnen zu machen.

Wir haben all diese verrückten, ausgefallenen Ideen, mit denen wir spielen wollen.