概要。HPSはウェアラブルセンサーのみを使用して、大型の3Dシーンにおける主体の完全な3D人体ポーズと位置を同時に推定します。私たちは、IMUデータ、ヘッドマウントカメラのRGBビデオ、および事前にスキャンしたシーンを入力として使用します。IMUデータを用いて近似的な3D身体ポーズを取得し、ヘッドマウントカメラの自己位置推定を利用して3Dシーン内の主体の位置を特定します。その後、近似的な身体ポーズ、カメラの位置と方向、および3Dシーンを同時に最適化し、最終的な位置とポーズの推定値を得ます。

私たちは（HPS）人間ポーズ位置特定システムを紹介します。これは、ウェアラブルセンサーを利用し、周囲環境の3Dスキャンを通じて人間の完全な3Dポーズを復元する方法です。身体の四肢に取り付けたIMUと外向きのヘッドマウントカメラを使用して、HPSはカメラベースの自己位置推定とIMUベースの人体追跡を組み合わせます。前者はドリフトがないがノイズのある位置と方向の推定を提供し、後者は短期的には正確ですが、長時間にわたるとドリフトが生じます。私たちは、最適化ベースの統合が両者の利点を活かし、ドリフトのないポーズ精度を実現することを示しました。さらに、私たちは3Dシーンの制約条件（例えば、足と地面の接触）を最適化に組み込み、物理的に信頼できる動きを生成します。HPSは、より一般的な第三者視点ベースの3Dポーズ推定方法を補完します。より大量の記録と長時間の動きの捕捉を可能にし、VR/ARアプリケーションに利用できます。これらのアプリケーションでは、人間が外部カメラと直接の視線を必要とせずにシーンと対話することができます。また、第一人者視点の視覚入力に基づいて環境をナビゲートし、環境と対話する人間のようなエージェントを訓練するためにも使用できます。HPSを使って、私たちは大型の3Dシーン（300 - 1000平方メートル）と人間が対話するデータセットを記録しました。このデータセットには7つのオブジェクトと3時間以上の様々な動きが含まれています。

ダウンロード

データをダウンロードすることにより、あなたはライセンス条項に同意したことになります。完全なデータセットは、「3Dシーンスキャン」、「ヘッドマウントカメラからのビデオ」、「ビデオの位置特定結果」、「元のIMUポーズ（SMPL用に調整）」、および「HPS結果」として利用可能です。ファイルの説明はデモリポジトリに記載されています。            

• デモリポジトリ

• 3Dシーンスキャン

• ヘッドマウントカメラからのビデオ

• ビデオの位置特定結果

• 初期化ファイル

• 元のIMUポーズ（SMPL用に調整）

• 最適化に使用するシーン

• MVNXファイル形式のIMUデータ

• 被験者ベータファイル

• 事前定義の頂点ファイル

• HPS結果

引用

@inproceedings{HPS,
    title = {人間ポーズ位置特定システム（HPS）：身体装着型センサーによる大型シーンでの3D人間ポーズ推定と自己位置特定},
    author = {グゾフ, ウラジミル および ミル, アイメン および サトラー, トルステン および ポンス - モル, ジェラルド},
    booktitle = {{IEEE} コンピュータビジョンとパターン認識会議（CVPR）},
    month = {6月},
    organization = {{IEEE}},
    year = {2021},
}