人間の姿勢推定は過去20年間で最も人気のある研究トピックの1つであり、特にベンチマーク評価用の人間姿勢データセットが導入されて以来そうです。これらのデータセットは通常、単純な日常生活の動作を捉えます。ここでは、新しいデータセット「武道、ダンス、スポーツ（MADS）」を紹介します。このデータセットは、挑戦的な武道動作（太極拳と空手）、ダンス動作（ヒップホップとジャズ）、およびスポーツ動作（バスケットボール、バレーボール、サッカー、ラグビー、テニス、バドミントン）から構成されています。2人の武道師、2人のダンサー、および1人のアスリートがこれらの動作を行い、その様子が複数のカメラまたはステレオ深度カメラで記録されました。多視点または単視点の設定で、2D画像ベースの人間姿勢推定アルゴリズム用に3つのカラービューを提供します。深度ベースの人間姿勢推定には、単一視点からのステレオベースの深度画像を提供します。すべてのビデオには、モーションキャプチャシステムを使用して捕捉された、対応する同期された校正済みの正解姿勢があります。様々な追跡フレームワークを使用して、データセットに関する初期のベースライン結果を提供します。これには、アニーリングパーティクルフィルタとロバストな尤度関数に基づく生成的追跡器、ツインガウス過程を使用した識別的追跡器、およびパーソナライズド深度追跡器などのハイブリッド追跡器が含まれます。評価の結果から、十分な代表的な学習サンプルがある場合、識別的アプローチの方が生成的アプローチよりも性能が良く、生成的方法は姿勢の多様性に対してよりロバストですが、パーティクルフィルタの有効な探索範囲に対して動きが速すぎると追跡に失敗する可能性があることが示されています。

データは、いくつかの背景の乱れがあるスタジオ環境で記録されました。ビデオデータはPoint Grey Bumblebee-IIカメラで記録されました。多視点データは、捕捉空間の周りに配置された3台のカメラで収集され、ステレオ画像は1つの視点から収集されました。多視点データは15fpsで捕捉され、カメラは同じハブに接続されると自動的に同期されました。深度データ（ステレオ画像）は10fpsまたは20fpsで捕捉されました。画像の解像度は1024×768です。正解姿勢データは、60fpsで動作するMOCAPシステムを使用して捕捉されました。すべてのビデオとモーションキャプチャデータは、同じ座標に校正され、同期されています。

MADSデータセットには5つの動作カテゴリ（太極拳、空手、ジャズダンス、ヒップホップダンス、およびスポーツ）が含まれ、合計で約53,000フレームがあります。各動作カテゴリは6つのシーケンスから構成されています。例の姿勢を以下に示します：

私たちは、MADSデータセットでいくつかの最先端の方法をテストしました。これには生成的追跡器と識別的追跡器の両方が含まれ、結果のデモはデモリンクで見ることができます。

出版物

• Martial Arts, Dancing and Sports Dataset: a Challenging Stereo and Multi-View Dataset for 3D Human Pose Estimation.
  張偉臣、劉志光、周柳洋、梁浩文、および陳安東
  Image and Vision Computing, 61:22 - 39, 2017年5月。 [補足資料]

デモ/結果

• MADSデータセットとベースライン方法のデモ

• YouTubeで見る： MADS多視点デモ、 MADSステレオデモ

データセット/コード

• データセット全体は約24GBです。ダウンロードを容易にするために、深度データと多視点データは複数のzipファイルに分割されています。各.zXXファイルは1GBで、.zipファイルはそれより小さいです。解凍するにはすべてのファイルをダウンロードする必要があります。最新バージョンの7-zipで分割zipファイルを扱うことができます。

• Readmeファイル: README.txt

• データをダウンロード: Google Driveへのリンク

• 動作のサンプルについては、デモビデオを参照してください。

• Linuxユーザーは、以下のコマンドを使用して複数のファイルを結合して解凍することができます：

  zip -s 0 MADS_multiview.zip --out single.zipunzip single.zip