Il dietro le quinte del video “Okay” di Autre Ne Veut John Robson spiega come ha usato il motion capture per creare un’emozionante performance umana.
John Robson lavora da oltre due decenni come motion designer e regista, ma nel tempo libero è anche un talentoso filmmaker sempre aperto a nuove sfide e lavora spesso in modi non convenzionali.
Desiderava da tempo unire il motion capture e l’ARKit di Apple con Cinema 4D, Houdini e Redshift per riprodurre un’emozionante performance umana, e quindi ha contattato un musicista con cui aveva sempre voluto lavorare: Autre Ne Veut.
Si è trattata però una collaborazione complessa, perché Autre Ne Veut (Arthur Ashin) vive a New York, mentre Robson a Portland. Fortunatamente i due sono subito andati d’accordo e Autre Ne Veut, avendo appena finito di produrre il singolo “Okay”, stava pensando a come distribuirlo al pubblico. Hanno quindi fatto un po’ di brainstorming per capire come sviluppare un video senza doversi incontrare di persona.
Abbiamo parlato con Robson di alcune tecniche insolite che ha utilizzato, come ad esempio il modo in cui ha creato le scene subacquee fingendo di nuotare sopra ad una palla da yoga indossando una tuta da motion capture.
Raccontaci di cosa stai facendo ultimamente John.
Robson: Stavo lavorando come regista di HouseSpecial quando l’estate scorsa ho ricevuto una chiamata da Samsung. Avevano seguito i miei lavori sui soggetti umani digitali presenti nei miei film, come “Safety First”, e mi hanno proposto di entrare nel loro reparto dedicato proprio all’intelligenza artificiale per soggetti umani, chiamato Neon.
Si tratta di un gruppo di scienziati ed ingegneri incredibilmente talentuosi, con una conoscenza che è allo stesso tempo stimolante e sconvolgente. Mi stavano contattando perché volevano uno storyteller che li aiutasse a creare narrazioni e rappresentazioni di soggetti umani digitali per le promozioni di marketing.
Ho imparato moltissime cose negli ultimi mesi con loro e mi hanno aiutato soprattutto dal lato tecnico in quanto filmmaker e storyteller.
Descrivici come tu e Autre Ne Veut avete ideato il video di “Okay”.
Robson: Stavo giusto terminando il video di “Okay” quando Samsung mi ha chiamato. Dopo aver usato Mixamo e aver animato a mano i progetti precedenti, volevo davvero fare qualcosa che riuscisse a catturare al meglio le emozioni umane.
Arthur voleva riprodurre la sua visione di un uomo sospeso in un mare senza fine e utilizzarla come metafora per la relazione descritta in “Okay”. Tuttavia, da un punto di vista pratico, girare un video nell’oceano è pericoloso e molto dispendioso, così ho pensato che fosse arrivato il momento perfetto per testare il mio rig di motion capture.
Arthur ha composto una serie di album fantastici; io adoro la sua voce e i suoi video sono sempre così incredibilmente artistici! Questa canzone parla di isolamento e abbandono nel vuoto infinito dell’oceano. C’era quindi molto su cui riflettere, perché bisognava considerare le luci e i riflessi che si creano sott’acqua. Ho sviluppato la maggior parte del concept in Houdini e mi sono fatto aiutare da un mio amico di HouseSpecial che ha elaborato l’oceano. Ho anche realizzato alcuni cespugli di alghe procedurali e usato Redshift per l’illuminazione.
Siccome lui è a Brooklyn e io a Portland, e avevamo un budget limitato, abbiamo lavorato a distanza e devo dire che è andata piuttosto bene. Lui mi inviava video e foto, incluse anche delle performance con tracciamento facciale registrate con l’iPhone. Volevo avere un’impressione generale di lui mentre cantava prima di mettermi ad animare l’intero video nel mio seminterrato.
Raccontaci alcuni dei momenti chiave di questo processo.
Robson: Ho cercato di fare del mio meglio, ma è stato difficile visto che avevo davvero pochi fotogrammi chiave e dovevo fare quasi tutto basandomi su dei video. Avevo iniziato con alcuni personaggi di Mixamo ma quando mi è arrivata la tuta da motion capture, l’ho usata per tutto quello che mi serviva per la scena.
Il personaggio nuota molto nel video, quindi mi stendevo sopra ad una palla da yoga e mi riprendevo. Poi mi sedevo su una sedia per riprendere i movimenti delle braccia per poi mettere tutto insieme in un’altra ripresa. Sono più alto di Autre Ne Veut, quindi dovevo riadattare il rig per assomigliare di più a lui. È stato interessante cercare di creare un manichino unendo la testa al corpo per farli sembrare una cosa unica. L’ambiente è stato costruito in modo procedurale attorno al personaggio utilizzando come elementi rocce e alghe di Megascans.
Anche se ho deciso di animare in Unreal o in Houdini, Cinema 4D rimane sempre la mia prima scelta per le pre-visualizzazioni, perché le camere sono fantastiche e il processo di esplorazione delle inquadrature e di sperimentazione è velocissimo, il che è molto importante. Quindi solitamente inizio da lì e poi esporto tutto in Houdini o in qualsiasi altro programma, dove completo il tutto.
Per questo video ho usato Redshift in Houdini per le luci, le texture e il rendering e Nuke per il compositing. Magic Bullet Looks mi è stato utile per ottenere il look cinematografico che volevo applicare su tutto il video. Infine, sono passato all’editing e alla colorazione finale con Black Magic Resolve.
Puoi dirci di più sul processo di modellazione?
Robson: Ho eseguito una scansione fotogrammetrica di Arthur e l’ho applicata ad un corpo. Poi ho svolto l’intero processo di rewrapping utilizzando la testa di base che avevo preparato, creando un morph con la forma della sua testa.
É molto difficile catturare tutto il range di espressioni umane. A volte è necessario usare centinaia di blend shapes per ottenere quella giusta. È straordinario però che ora sia possibile farlo a livello consumer. Non vedo l’ora di scoprire fin dove si spingerà questa tecnologia.
Arthur è rimasto stupefatto da questo processo, anche se c’è stato quello strano momento in cui ha visto la versione digitale di sé e ha avuto quella sensazione inquietante di vedere un sé stesso che in realtà non lo era. Dal punto di vista creativo ci assomigliamo e lui ha riposto molta fiducia nelle mie capacità. I suoi video erano sempre dei live action in stile cinema d’essai, ma questo processo ci ha permesso di raccontare una storia che sarebbe stata impossibile riprodurre in live action.
Qual è stata la reazione del pubblico vedendo il video?
Robson: La risposta è stata ottima. Molti hanno detto di non aver mai visto nulla di simile. Credo fossero entusiasti all’idea di vedere diversi modi di raccontare storie e rappresentare personaggi, soprattuto a livello indie.
In realtà non si è trattato di utilizzare la tecnologia per il puro piacere di farlo: è stata una vera necessità, visto che non potevamo lavorare insieme dal vivo. Tuttavia non penso che gestire i processi tramite i dati sostituirà davvero l’animazione tradizionale dei personaggi. Voglio dire, i film Pixar sono eccezionali e tutti hanno lasciato il segno!