UCFスポーツデータセットは、BBCやESPNなどの放送テレビチャンネルで一般的に取り上げられる様々なスポーツから収集された一連の行動から構成されています。動画シーケンスは、BBCモーションギャラリーやGettyImagesなどの幅広い素材映像ウェブサイトから取得されました。

このデータセットには、解像度720 x 480のシーケンスが合計150個含まれています。この収集物は、幅広いシーンや視点で登場する行動の自然なグループを表しています。このデータセットを公開することで、制約のない環境でのこの種の行動認識に関するさらなる研究を促進することを期待しています。このデータセットが導入されて以来、行動認識、行動位置特定、顕著性検出など、数多くのアプリケーションに使用されています。

データセットの行動

このデータセットには以下の10種類の行動が含まれています。上の図は、10種類の行動すべてのサンプルフレームを示しており、黄色で示された人間のバウンディングボックスのアノテーションも一緒に表示されています。

ダイビング（14本の動画） ゴルフスイング（18本の動画） キッキング（20本の動画） リフティング（6本の動画） 馬に乗る（12本の動画） ランニング（13本の動画） スケートボード（12本の動画） ベンチでスイング（20本の動画） 横方向のスイング（13本の動画） ウォーキング（22本の動画）

データセットの概要

次の表は、このデータセットの特徴をまとめたものです。

図：UCFスポーツの特徴の概要。

統計情報

次の図は、各クラスのクリップ数が同じではないため、各行動ごとのクリップ数の分布を示しています。

図：各行動クラスのクリップ数。

次の図は、各行動クラスのクリップの総時間（青）と平均クリップ長（緑）を示しています。キッキングなどの特定の行動は、比較的長く周期性のあるウォーキングやランニングと比べて、本質的に短いことが明らかです。しかし、グラフからわかるように、行動クリップの平均時間は異なるクラス間で大きな類似性を示しています。したがって、1つのクリップの時間だけを考慮しても、行動を識別するには十分ではありません。

図：各行動クラスの動画クリップの総時間は青で示されています。各行動のクリップの平均長は緑で示されています。

推奨実験設定

• 行動認識

  一つ抜き交差検証方式（Leave-One-Out, LOO）： [1]で提案されているように、UCFスポーツのテストには一つ抜き交差検証方式（LOO）を使用することが推奨されます。このシナリオでは、1つのサンプル動画をテスト用に取り出し、ある行動クラスの残りのすべての動画を使って学習を行います。これをすべてのサンプル動画に対して循環的に行い、全反復の精度を平均することで全体の精度を求めます。

• 行動位置特定

  学習/テスト分割： [*]で提案されているように、学習/テスト分割を使用することが推奨されます。提案された実験設定では、データセットを不均等な2つの部分に分割します。動画の3分の2を学習用、3分の1をテスト用とします。精度を計算するために、ある重複閾値を用いて交差和比（Intersection over Union, IoU）基準を使ってROC曲線をプロットします。交差和比は、各フレームについて、予測されたバウンディングボックスと正解バウンディングボックスの重複部分を計算し、それを両バウンディングボックスの和集合で割ります。この値を動画内のすべてのフレームにわたって平均します。この実験では20％の重複閾値を使用します。閾値を変更した場合の性能の変化を示す、重複閾値に対する曲線下面積（Area Under Curve, AUC）を使用して最終的な性能を計算します。重複部分を計算するために、データセットには各フレームの正解バウンディングボックスが提供されています。

  [*] Tian Lan, Yang Wang and Greg Mori, Discriminative figure - centric models for joint action localization and recognition, IEEE International Conference on Computer Vision (ICCV), 2011.

ダウンロード

このデータセットは、ここをクリックすることでダウンロードできます。

人間の視線アノテーションは、ここをクリックすることでダウンロードできます。

行動位置特定のための学習/テスト分割は、ここをクリックすることでダウンロードできます。

関連文献

このデータセットを使用する場合は、次の論文を引用してください：

• [1] Mikel D. Rodriguez, Javed Ahmed, and Mubarak Shah, Action MACH: A Spatio - temporal Maximum Average Correlation Height Filter for Action Recognition, Computer Vision and Pattern Recognition, 2008.
• [2] Khurram Soomro and Amir R. Zamir, Action Recognition in Realistic Sports Videos, Computer Vision in Sports. Springer International Publishing, 2014.