HMDBデータセットは、現在の動作認識研究分野において最も重要なデータセットの1つです。
毎日約10億個のオンラインビデオが視聴される中、コンピュータビジョン研究の新しい最先端分野は、ビデオ認識と検索です。数千種類の画像クラスを含む大規模で拡張可能な静止画像データセットの収集と注釈付けに多くの努力が払われていますが、人間の行動データセットはそれに遠く及ばない状況です。
そこで、Brown university大学は2011年にHMDB51データセットを公開しました。このデータセットのビデオの多くは映画から収集され、一部は公共データベースやYouTubeなどのウェブビデオライブラリから収集されています。データベースには6849個のサンプルが含まれ、51クラスに分類されており、各クラスには少なくとも101個のサンプルが含まれています。
動作は主に5つのカテゴリに分けられます：
1）一般的な顔の動作：笑顔、大笑い、咀嚼、会話。
2）顔の操作と物体の操作：喫煙、食事、飲酒。
3）一般的な体の動作：片手翻り、拍手、登る、階段を登る、跳ぶ、床に落ちる、逆立ち、跳ねる、引く、押す、走る、座る、起きる、転がる、立つ、回る、歩く、振る。
4）物体との相互作用動作：髪を梳く、掴む、剣を抜く、ボールを運ぶ、ゴルフ、物を殴る、ボールを投げる、挑む、倒す、物を押す、自転車に乗る、馬に乗る、ボールを射る、弓を射る、銃を撃つ、野球のバットを振る、剣術の練習、投げる。
5）人体の動作：剣道、抱擁、誰かを蹴る、キスする、殴る、握手、剣闘。
51個の動作の図示:

データセット、メタラベル、統計:

動作クラスのラベルに加えて、各クリップには動作ラベルと、クリップの属性を記述するメタラベルが付けられています。HMDB51のビデオシーケンスは、商業映画やYouTubeから抽出されたものであるため、光の条件、状況、周囲の環境の多様性を表しており、さまざまなカメラタイプや録画技術（例：視点）を使用して動作の出現をキャプチャすることができます。視点は、HMDBがサポートするもう1つの細分化基準です。全方位をカバーするために、正面、側面（左右）、背面の角度から動きを観察することができます。また、「動きなし」と「カメラの動き」という2つの異なるカテゴリがあります。後者は、ズーム、移動撮影、カメラの揺れなどの結果です。ビデオ品質の3段階評価は、大量のクリップを評価するために使用されます。動作中に一本の指を識別できるほどの品質であるビデオサンプルのみが「良」と評価されます。動作を行っているときに身体の一部や四肢が見えなくなる場合、この基準を満たさないものは「中級」または「不良」と評価されます。各グレードの違いを示す例を以下に示します。

品質評価の例

動作クラス、身体の部分、カメラの動き、視点

クリップの品質、クリップの持続時間、クリップの持続時間のカウント

現実世界のビデオから抽出されたビデオクリップを使用する際の主な課題の1つは、重大なカメラ/背景の動きが存在する可能性があることです。これは局所的な動きの計算を妨げると考えられており、修正する必要があります。カメラの動きを除去するために、標準的な画像スタッチング技術を使用してクリップのフレームを位置合わせします。これらの技術は、2つの隣接するフレームの顕著な特徴を検出してマッチングすることで、背景平面を推定します。絶対ピクセル差や検出された点のユークリッド距離などの距離尺度を使用して、2つのフレームの対応度を計算します。そして、最小距離の点をマッチングし、RANSACアルゴリズムを使用してすべての隣接フレーム間の幾何変換を推定します（各フレームペアについて独立して行われます）。この推定を使用して、個々のフレームを歪ませて組み合わせることで、安定したクリップを実現します。

元の画像と安定化された画像

その他の動作認識ベンチマーク

この研究はKTHで始まりました。KTHデータセットには6種類の動作が含まれ、各動作クラスには100個のクリップが含まれています。次に、ワイツマン研究所で収集されたワイツマンデータセットは、10個の動作クラスと各クラスに9個のクリップが含まれています。上記の2つのセットは、制御された簡素化された設定で記録されています。その後、映画から収集され、映画脚本から注釈付けされた最初の現実的な動作データセットはINRIAで作成されました。ハリウッド人間動作セットには8種類の動作が含まれ、各動作クラスのクリップ数は60から140の間で変化します。その拡張版であるハリウッド2人間動作セットは、合計3669個のビデオを提供し、10種類のシーンの下で10クラスの人間の行動に分類されています。 UCFグループも、主にYouTubeから動作データセットを収集しています。UCF Sportsには9種類のスポーツタイプと182個のクリップが含まれ、UCF YouTubeには11個の動作クラスが含まれ、UCF50には50個の動作クラスが含まれています。論文では、YouTubeからのビデオは低レベルの特徴に偏りがある可能性があることを示します。つまり、低レベルの特徴（色や特徴点）が中レベルの特徴（動きや形状）よりも識別性が高いことを意味します。

問い合わせ

データセットやベンチマークに関する質問は、Hueihan Jhuang ( hueihan.jhuang [at] tuebingen.mpg.de) にお問い合わせください。

引用

このベンチマークとデータベースは、以下の論文で説明されています。このシステムやビデオデータベースを使用して行われた研究を記述する出版物では、著者にこの論文を引用していただくようお願いします。

     H. Kuehne, H.