VOCAは、簡単かつ汎用的な音声駆動型顔面アニメーションフレームワークで、複数のアイデンティティで動作することができます。このコードライブラリは、任意の音声信号と静的なキャラクターメッシュが与えられた場合に、リアルなキャラクターアニメーションを合成する方法を示しています。

音声駆動の3D顔面アニメーションは広く研究されていますが、リアルで自然なパフォーマンスを実現することは依然として未解決の問題です。これは、利用可能な3Dデータセット、モデル、および標準的な評価指標が不足しているためです。この問題を解決するために、私たちは独自の4D顔面データセットを導入しました。このデータセットは、約29分間の4Dスキャンを60fpsでキャプチャし、12人の話者の音声を同期させています。そして、私たちはこのデータセットを使ってニューラルネットワークを訓練し、顔の動きからアイデンティティ要素を抽出します。学習されたモデルであるVOCA（音声操作型キャラクターアニメーション）は、任意の音声信号、英語以外の言語の音声であっても入力として受け取り、様々な成人の顔をリアルにアニメーション化します。訓練過程で話者ラベルを調整することで、モデルは様々な自然な話しスタイルを学習することができます。VOCAはまた、アニメーション化の過程で話しスタイル、アイデンティティに関連する顔の形状や姿勢（すなわち、頭部、顎、眼球の回転）を変更するためのアニメーターコントロールを提供します。私たちの知る限り、VOCAは、再ターゲット設定を行わずに未知の対象に簡単に適用できる唯一のリアルな3D顔面アニメーションモデルです。このため、VOCAはゲームのビデオ、仮想現実のアバター、または話者、音声、言語が事前にわからない任意のシーンに適しています。私たちは、このデータセットとモデルを研究目的で使用します。

VOCAの引用

@inproceedings{VOCA2019,
    title = {Capture, Learning, and Synthesis of {3D} Speaking Styles},
    author = {Cudeiro, Daniel and Bolkart, Timo and Laidlaw, Cassidy and Ranjan, Anurag and Black, Michael},
    booktitle = {Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR)},
    pages = {10101--10111},
    year = {2019}
    url = {http://voca.is.tue.mpg.de/}
}

ライセンス

非営利および科学研究目的で無料です。このコードを使用することにより、あなたはライセンス条項（https://voca.is.tue.mpg.de/license）を読み、理解し、それに拘束されることに同意したことを認めるものとします。これらの条件に同意しない場合は、このコードを使用してはなりません。