新しいフェイスマッピング - CONNECTED COLORS 東京のWOWは、Cinema 4Dを使って3Dとライブパフォーマンスを組み合わせてすばらしい結果を生み出す。

2016年はじめ、「Connected Colors」という動く3Dグラフィックとプロジェクションマッピング、ライブパフォーマンスを組み合わせたプロジェクトを、ビジュアルデザインスタジオWOWが制作した。このビデオは、「Experience Amazing」というIntelのグローバル・プロモーションのためのもので、Intelがこのキャンペーンのために、世界中のイノベーターたちへアートワークの制作を依頼。そのアーティストの一人としてフェイスマッピングのプロジェクトを手がけてきた浅井宣通氏が選ばれたのだ。

WOWでクリエイティブ・ディレクターとテクニカルディレクターを勤める浅井氏に、今回ライブアクションとCGアニメーションについてお話しを聞いた。「フェイスマッピングは、動いている顔に動画を投影する新しい技術ですが、顔に対する自然な表情や表現は、化粧として何千年も歴史があります」（浅井氏談）

「Intelのプロモーションの各プロジェクトは異なるテーマがありました。『Connected Colors』のテーマは、Intelが推進しているIoT（Internet of Things）のコンセプトワードであるconnected worldを元に表現を作りました。すべてが繋がった世界というのは２つの面があり、便利さや効率、調和と共生という良い面もありますが、運用規則と管理の必要性も見られます。ですので、テクノロジーの使い方を問いかけるメッセージを表現したくて、繋がっていくことがポジティブな意味を持つアート作品を作ることに決めました」

「テクノロジーという視点でいうと、動物も植物も昆虫もすべてDNAという同じ仕組みで存在して、それぞれが違う色を持っています。人間を含め自然界にあるいろいろな生命が持っている色をモチーフにして、それがつながっていく姿を表現しました」

浅井氏は、このIntelのプロジェクトを手掛ける以前にプロジェクションマッピングやバーチャルリアリティなどを手がけてきた。フェイスマッピングは、『OMOTE』というプライベートプロジェクトで最初に挑戦した後、日本のテレビ番組やミュージックビデオでもフェイスマッピングの制作も行った。

今回のプロジェクトは、それまでのプロジェクトに比べるとトラッキングとプロジェクションの精度が異なるという。精度が低いとレイテンシー（遅延）やズレ、色再現に影響があり、見た人が冷めてしまうという。そのため、WOWの浅井氏、CGアーティスト阿部伸吾氏とそのチームは、浅井氏のこれまでのプロジェクトよりもレイテンシー、ズレ、色のシステムをすべてワンフェーズ上げる努力をした。

Intel ® Core ™ i7プロセッサが搭載された彼のコンピュータとプロジェクターで、浅井氏は人の顔を革新的なキャンバスに変えました。第６世代Intel® Core™ i7プロセッサが提供する新しいクラスのコンピューティングとオーバークロッキングで特殊効果を必要に応じて思いのままに限界を押し広げることができます。

浅井氏と阿部氏は、ハードウェアを慎重に選定。「トラッキングには、240fpsでキャプチャできるモーションキャプチャカメラのOptiTrackを５台とIntelのPCを使っています。プロジェクションには、レイテンシーが最も低い高速なもので、解像度が高く色のダイナミクスレンジが広いものを選びました」（浅井氏談）

阿部氏は、「アニメーションと動くテクスチャのエレメントには、Cinema 4Dを使ってAfter Effectsで合成しています。モーショングラフィックスではこのワークフローはとても速くピッタリです。トライアンドエラーがすごく速くて、見ながら結果とクオリティを近づけていけました。MoGraphもこのプロジェクトにとって素晴らしいツールでした。After EffectsとCinema 4Dは、ほとんどの仕事で使っていて、PhotoshopやIllustratorも使っています。

最初に、パフォーマーの顔を3Dスキャンして、UVW展開して顔のテクスチャをキャプチャしています。それからジオメトリとテクスチャをCinema 4Dに取り込みました。顔の3Dモデルを作成後、制作したアニメーションをこのモデルのUVに合わせ、アニメーションをテクスチャとして適用します。これらをアニメーションごとに行い、この3Dモデルがプロジェクションのソースになりました」と話す。

パフォーマンス中、パフォーマーの顔の位置と角度は、トラッキングデータからリアルタイムで計算され、3Dモデルの位置と角度を連動し、3Dモデルのアニメーションテクスチャのパースペクティブビューが実際の顔に投影される。

「フェイスマッピングでもっとも重要だと気づいた点として、顔は人が見た時にちょっとした変化や違和感に対して非常に敏感で、景色やプロダクトを見ている時の変化よりもすごく大きく見えてきます。だから、何度もトライアンドエラーを速く繰り返す必要がありました」（阿部氏談）

Cinema 4DのMoGraphは、特に３つのアニメーションで特に便利だったという。１つは、ビデオの最初でスキャンしているシーケンス。あとは、モデルの肌が黒と黄色のトカゲの肌に切り替わるところで、その直後に黒と赤のカエルの肌が崩れ落ちるところだ。（それぞれ12秒、50秒、1分3秒ごろ）

MoGraphの継承エフェクタは、スキャンするカットで3Dエフェクトとして鼻からワイヤーフレームのトランジションが合成されたところで使用され、これは特殊効果のセルシェーダでレンダリングされ、複雑なパターンが作成された。

トカゲの肌のカットでは、シェーダエフェクタによって顔の表面のテクスチャが徐々に変化させている。ランダムエフェクタは、黒と赤のカエルの肌のパーツをランダムにするために使われ、崩れ落ちる効果にはダイナミクスが使われたが、効果をランダムにするためにもエフェクタが使っている。

これらのすべてのアニメーション、仕上げ、エフェクトをWOWが求める精度のプロジェクションデータにするため、オリジナルソフトウェアをチームで開発したという。面白いことに、この作品はインタラクティブ性や自発的な印象を与えているが、正確にはフィックスされた映像が投影されている。

モデルが瞬きをして、動物の目を露わにするために目を開いたり、突然微笑んだりするが、モデルは瞬きはしていないと阿部氏は説明した。実際、見えているのは投影されたアニメーションなのだ。「私たちは目の表現のため、多数のテストやシミュレーションを行って調整しました。人は普段他の人の目を見て、わずかな変化から感情を読み取って暮らしているので、目については小さな違和感もすぐに感じ取ります。自然な瞬きや笑顔になるまでこうした投影のテストを、スキャンした顔のモデルのモックアップやCinema 4D、他のソフトウェアを使ってくり返しました」

浅井氏は次のようなコメントもしている。「顔のディテールをいじるということはとても繊細で、ともするとファニーになってしまったり、恐怖やグロテスクな方向に転びやすいです。反対に顔で美しさを表現するのは、とても難しいのです」

WOW website:
http://www.w0w.co.jp/en/index.html

浅井宣通氏 website:
http://www.nobumichiasai.com/