我々は、一般的な服装を着た人の時間的に連続した3Dパフォーマンスを単眼ビデオから取得するための最初の無マーカー方式を提案しました。我々の方法は、一般的なシーンにおいて、関節運動の骨格運動と中規模の非剛体表面変形を再構築します。関節の可動範囲が広く、潜在的な高速運動やかなりの非剛体変形（多視点データから取得する場合でも）があるため、人間のパフォーマンスをキャプチャすることは難しい問題です。単眼ビデオのみで再構築することはさらに難しく、強い遮蔽と固有の深度曖昧性により、再構築問題が非常に不適切になります。我々は、畳み込みニューラルネットワークを用いたスパースな2Dおよび3D人体姿勢検出に基づくバッチ処理ベースの姿勢推定戦略を採用した新しい方法でこれらの課題に対処します。バッチごとの運動の同時復元により、低次元軌跡部分空間に基づいて単眼再構築問題の曖昧性を解消することができます。さらに、我々は、中規模の非剛体アライメントを実現するために、全自動で抽出された輪郭に基づいて表面形状を最適化することを提案します。我々は、最新のパフォーマンスキャプチャ結果を示しており、これにより、以前の単眼ビデオでは実現できなかった、ビデオ編集や自由視点ビデオなどの魅力的なアプリケーションが可能になります。我々の定性的および定量的評価により、処理可能な精度、ロバスト性、シーンの複雑さの点で、我々の方法は以前の単眼方法よりも明らかに優れていることが示されました。

引用

@article{Xu:2018:MHP:3191713.3181973,
 著者 = {Xu, Weipeng と Chatterjee, Avishek と Zollh\"{o}fer, Michael と Rhodin, Helge と Mehta, Dushyant と Seidel, Hans - Peter と Theobalt, Christian},
 タイトル = {MonoPerfCap: 単眼ビデオからの人間のパフォーマンスキャプチャ},
 雑誌 = {ACM Trans. Graph.},
 発行日 = {2018年6月},
 巻 = {37},
 号 = {2},
 月 = 5月,
 年 = {2018},
 ISSN = {0730 - 0301},
 ページ = {27:1--27:15},
 記事番号 = {27},
 ページ数 = {15},
 URL = {http://doi.acm.org/10.1145/3181973},
 DOI = {10.1145/3181973},
 ACM ID = {3181973},
 出版社 = {ACM},
 住所 = {米国ニューヨーク州ニューヨーク},
 キーワード = {3D姿勢推定, 単眼パフォーマンスキャプチャ, 人体, 非剛体表面変形},
}

謝辞

この研究は、ERC Starting GrantプロジェクトCapReal（335545）によって資金提供されています。

連絡先

質問、説明、データセットへのアクセスに関しては、以下の方にご連絡ください：
Weipeng Xu
wxu@mpi - inf.mpg.de