Come Combinare Moves by Maxon, Droni e C4D Hobbes spiega come hanno creato una faccia gigantesca composta da 200 droni per una clip musicale.

Immaginate una passeggiata serale in una tranquilla cittadina del Michigan. Siete vicini alla locale stazione sciistica, ma siamo fuori stagione quindi le piste sono vuote e tranquille. All'improvviso sentite il ronzio di centinaia di luci che volano in cielo mentre sopra di voi una gigantesca faccia di 90 metri sembra fissarvi e cantare.

Un bizzarro delirio febbrile? Tutt’altro! Avete appena intravisto la clip musicale del singolo "High in Heaven” della rock band sperimentale VWLS. Hobbes, uno studio di design e animazione di Detroit, ha collaborato con Firefly Drone Shows alla produzione del video che mostra 200 droni a formare una testa celestiale le cui labbra sono sincronizzate al brano suonato dai musicisti della band, Josh Epstein e Louie Louie.

Epstein e Louie hanno usato il proprio iPhone e l'applicazione gratuita Moves by Maxon per catturare il movimento del viso e creare questo insolito video. Il team Hobbes ha inserito i dati capture in Cinema 4D per tracciare il percorso di volo dei droni di Firefly.

Abbiamo contattato Nick Forshee di Hobbes per saperne di più sul progetto. Ecco cosa ci ha raccontato.

Forshee: È stato piuttosto divertente. Ci avevano chiesto di creare uno show di droni per una conferenza sull'intelligenza artificiale di cui volevano una sorta di rappresentazione visiva. Questa, in pratica, è diventata la versione “beta” delle successive facce composte di droni. I ragazzi di Firefly, che erano presenti alla conferenza, ci hanno raccontato che la faccia/intelligenza artificiale era davvero fantastica, però aveva spaventato il pubblico!

Ricordo di aver pensato: "Oh cavolo, visto che ha questo impatto dovremmo creare qualcos’altro con una faccia così". Così abbiamo testato una faccia da Babbo Natale, cercando di renderla adatta ad un pubblico di bambini. Invece li ha comunque spaventati! La faccia, alta quasi 400 m, si basava sulla somiglianza con Josh, ma ha finito per trasformarsi in una sorta di entità cosmica!

Forshee: Avevamo già iniziato a lavorare a distanza con Josh e Louie prima del COVID-19. Loro hanno registrato varie performance e ci hanno inviato semplicemente tramite email i dati di tracciamento facciale. Abbiamo usato Pose Morph per mixare le performance. Firefly ha organizzato il tutto attenendosi alle linee guida di distanziamento sociale.

Forshee: I percorsi dei droni in origine sono stati animati manualmente in Cinema 4D, come per le altre performance a cui avevamo lavorato. Ma è un processo piuttosto laborioso per uno show di tre minuti. Così abbiamo scaricato Moves by Maxon dall'app store e abbiamo collegato tutti i punti. Abbiamo presto capito che avremmo potuto realizzare la performance completa guidando i droni con l'app.

Abbiamo portato la mesh da Moves by Maxon in C4D. Essendo completa di coordinate UV abbiamo dovuto solo abbozzare l’idea approssimativa di come sarebbe stato il progetto. Dopo aver ottenuto una chiara percezione di come sarebbe stato tradotto e abbiamo capito che il progetto funzionava davvero bene anche nella sua forma grezza.

Guarda il video del dietro le quinte.

Forshee: La tracciatura dei punti dei 200 droni è stata probabilmente la parte più lunga del progetto. Era quasi come un gigantesco Lite-Brite (ndr. gioco per bambini) ma con solo 200 chiodini. Se adoperi un certo numero di punti, devi usarli per l’intero show, e devi spostarli da un punto all’altro scegliendo le linee con intelligenza.

Abbiamo usato ogni linea di quella faccia per rappresentare la profondità X - Y - Z, così è diventata una sorta di danza nel togliere i droni dai contorni della faccia e aggiungerli ad un'altra area oppure alla bocca. Una volta tracciato il tutto sono rimasti alcuni punti, ed è lì che abbiamo posizionato i denti. Sono davvero contento del risultato.

Forshee: Sì. A quel punto si è trattato puramente di un gioco di colori e della spettacolarità stessa del colore. Avevamo a disposizione l'intero spettro cromatico e quasi tutti i livelli di intensità. Direi che ci siamo dedicati al colore per quasi un mese. Abbiamo sfruttato vari schemi di illuminazione perché avevamo tre minuti in cui mantenere viva l'attenzione del pubblico. Nel frattempo eravamo davvero tentati di trasformare il volto in altri oggetti. Pensa se avessimo fatto esplodere la testa di colpo quale sarebbe stata la prossima mossa?

Forshee: I 200 punti sono fondamentalmente i keyframe XY e Z di ogni momento dell’intero spettacolo. Un trucco che usiamo è quello di lavorare su scala reale: queste sono le unità che abbiamo usato in Cinema 4D e il tutto si traduce molto bene con i dati del drone. Da Moves by Maxon ottieni un volto delle dimensioni di una testa umana, quindi quello che abbiamo fatto è stato ridimensionare la performance finale in Alembic, che ha un'opzione davvero fantastica di scalatura. L'abbiamo ingrandita di 300 volte e poi abbiamo tracciato i droni. Non abbiamo dovuto muovere manualmente nulla sul viso finché non è esplosa tutta la testa. Il resto dello show è stato portato a termine con i nostri capture.

Forshee: Abbiamo fatto un sacco di lavoro manuale. È servita mezzora solo per distribuire tutti i droni sul campo. Ogni drone scarica l’intero percorso di volo in modo da poter comunicare dove si trova sulla Terra. Poi i droni creano essenzialmente specifici waypoint, e sono incredibilmente super precisi.

Forshee: Sì. Sperimentiamo sempre. Intendo dire che appena finito questo progetto ci siamo detti: “Ok, ce l'abbiamo fatta! Abbiamo finito. E adesso? Samantha Griffith, della Hobbes, ha avuto la fantastica idea di usare l’altro aspetto di Moves by Maxon, cioè il body capture. Stiamo pensando di creare una coreografia di danza a figura intera con i droni.

Abbiamo un sacco di idee bizzarre con cui vogliamo giocare!