Combining Moves by Maxonとドローン、C4Dの組み合わせ Hobbes が、ミュージックビデオ用に200機の空飛ぶドローンを使って、巨大な顔をリップシンクさせる方法。
ある晩、静かなミシガン州の町を歩いている自分を想像してみてください。地元付近のスキー場はオフシーズンため、ゲレンデは静かで誰もいません。突然、何百もの光が空を舞う音が聞こえ、頭上には高さ300フィートの巨大な顔があなたを見つめて歌っているようにみえます。
奇妙で熱狂的な夢の話でしょうか？これは 実験的ロック バンドVWLSの『High in Heaven.』のシングルのミュージックビデオです。デトロイトのデザイン/アニメーション スタジオであるHobbesは、Firefly Drone Shows と提携して ビデオを制作しました。 天体の頭の形をした200機のドローンが空を飛び、VWLSのミュージシャン Josh EpsteinとLouie Louieの音楽に合わせてリップシンクさせました。
Epstein氏とLouie氏はiPhoneと無料のMoves by Maxon アプリを使って顔の動きをキャプチャし、特徴的な映像を作成しました。Hobbesのチームは、顔のキャプチャデータをCinema 4Dに取り込み、Fireflyの特注ドローンの飛行経路をマッピングしました。
HobbesのNick Forshee 氏にプロジェクトについて聞いてみました。インタビューをご覧ください。
この作品のコンセプトはどのようにして生まれたのでしょうか？
Forshee: 面白かったのは、人工知能の会議でドローンショーをやってほしいという依頼があり、ちょっとした人工知能の表現を求められました。それでほぼベータ版の ドローンの顔になりました。このホタル男は会議で実現しましたが、AIの顔は超クールだったものの子供たちを怖がらせてしまいました。
「これだけのインパクトがあるなら、顔を使って何かやるべきだ」と思ったのを覚えています。子供に優しいものにしようとサンタクロースの顔でテストをしましたが、それでも子供たちは怖がっていました。身長300フィートのこの顔はジョシュの似顔絵をベースにしていますが、時間の経過とともに宇宙的な存在に変化していきました。
新型コロナのせいで全てリモートで作業されたのでしょうか？
Forshee: 新型コロナ以前からJoshとLouieとはリモートで作業を行っていたので、複数のパフォーマンスを収録して、顔のトラッキングデータもメールで簡単に入手できました。パフォーマンスを合成にはポーズモーフを使用しました。Fireflyはすべてをセットアップして、ソーシャルディスタンスを保つためのガイドラインを守ってくれました。
ドローンを使って空に浮かぶ顔をアニメーション化したプロセスを教えて下さい。
Forshee: ドローンの飛行経路は他の公演と同じように、元々はCinema 4Dで手付けアニメーションしていました。しかし、3分間のショーのためは、かなり手間のかかる作業です。そんな時、アプリストアでMoves by Maxonを見つけて、解決しました。アプリを使ってドローンを操作しながらの完全なパフォーマンスができることに気付いたのです。
メッシュはMoves by MaxonからC4Dに読み込みました。UV座標が付属しているので、デザインがどのように見えるか大まかなアイデアを描くだけですみました。そうすることでうまく転送され、大まかな形でもデザインがうまく機能することがわかりました。
メッシュをC4Dに持ち込んだら、それをどのようにポイントに変換しましたか？
Forshee: 200機ドローンのポイントをプロットするのは、おそらくこのプロジェクトの中で最も時間のかかる部分でした。巨大なおもちゃのライトブライトのようなもので、ペグは200本しかありません。一度ポイント数を決めてしまえば、それをショー全体に使わなければならないので、ポイントからポイントへと移動しながら、賢明にラインを選ぶ必要がありました。
その顔の中で、X、Y、Zのデプスを表す線をすべて選びました。だから、顔の輪郭からドローンを離して、別の場所にドローンを追加したり、口の中にドローンを追加したりするというダンスになったのです。全体をプロットしたら、いくつかポイントが残っていたので、そこに歯を入れました。本当にやってよかったです。
次に色についてはどうしたか?
Forshee: そうですね、色のゲームや色のショーマンシップにもなります。私たちはフルカラーのスペクトルを用意していましたし、どのような強さでも利用できました。ドローンショーのために、ほぼ1ヶ月間色を使ったと言ってもいいでしょう。人々の注意を引きつけるために3分しかなかったので、照明のパターンを変えながら進めていきました。その間、私たちは顔を他のオブジェクトに変えたいという衝動と本当に戦っていました。頭を爆発させたら、次はどうなるんだろう？とか。
では、Cinema 4Dでの作業からドローンの作業にはどのように移行するのでしょうか？
Forshee: 200ポイントは、基本的にはショー全体のある瞬間ごとにXYZのキーフレームです。私たちが使用しているトリックの1つは、実世界のスケールで作業することです。これはCinemaの中で使用した単位なので、ドローンのデータにうまく変換されました。だから、私たちがしなければならなかったのは、最終的なパフォーマンスをAlembicにベイクするだけでした。300回の失敗を経て、それにドローンをプロットしました。頭全体が爆発するまで、手作業で何かをする必要はありませんでした。ショーの残りの部分はすべて私たちのキャプチャーによって行われました。
ロケ地で全てを設定したのはどんな感じだったのでしょうか？
Forshee: かなりの手作業です。ドローンを全部並べるだけでも30分はかかりました。ドローンは全体の飛行経路をダウンロードするので、地球上のどこに位置しているかを通信することができます。その後、ドローンは基本的に特定の参照ポイントを作ろうとしますが、それは非常に正確です。
興味深いですね。顔のキャプチャをもっと実験する予定はありますか？
Forshee: そうですね。 私たちは常に実験をしています。一つ終わるとすぐに「できた。よし次だ！」って感じになります。HobbesのSamantha Griffithは Moves by Maxonの背面カメラを使ったホディキャプチャーを使うという 非常に面白いアイデアを持っていました。ドローンを使った 全身のダンスの 振り付けを考えています。
私たちは、こうしたおかしなすべてのアイデアがあり、それで遊んでみたいと思っています。