VFXのアーティスト、iPhone X TrueDepthカメラを3Dアニメーションに使用する方法を紹介

VFXのアーティスト、Elisha Hungによるハイテクデモビデオは、iPhone XのTrueDepthカメラシステムのデータを使って、CGIムービーの3D文字やオブジェクトをアニメートする方法を紹介しています。

アップルは開発者に、Animojiが豚、ウサギ、パイズリをアニメーション化するために使用するのと同じ顔面メッシュにアクセスできるようにしています。 iOS APIからのデータストリーミングは、従来の3D編集ソフトウェアが解釈できる形式に変換することができます。

Hung氏は、高価なモーションキャプチャ機器を使用するのではなく、ARKitアプリをコーディングして、更新中の顔メッシュを記録しました。その後、彼は深度マップを使用して顔の2Dテクスチャをアニメーション化しました。

最終結果は驚くほど現実的であり、AAAゲームのタイトルで見られるようなアニメーションの顔の再現を模倣します。

TrueDepthの忠実度は、ハリウッドの予算映画にとっては有用ではないかもしれませんが、アマチュアやプロスペクターのビデオメイカーやアニメーターのために新しい道を開くことができます。

また、Animojiのエクスペリエンスを再現するサードパーティ製のiPhoneアプリを作る方法を示していますが、絵文字の生き物ではなく人間の(有名人の)顔を使っています。