MIT-IBM Watson AI Labは全く新しい百万規模のビデオ理解データセット「Moments-in-Time」を発表しました。このデータセットは以前のYouTube-8Mデータセットほど大きくはありませんが、現状では多様性と差異性が最も高いデータセットです。このデータセットのタスクは依然としてビデオ分類タスクですが、「動作」の分類に特化しています。ここでの動作は広義の動作または動態を指し、その実行者は必ずしも人間である必要はなく、物体や動物でも構いません。この点がこのデータセットと既存のデータセットとの最大の違いです。

データの概要

• 合計100万個のビデオがあり、各ビデオの長さは同じで、すべて3秒です。

• 各ビデオには1つの動作ラベルが付けられています（後続のバージョンでは複数ラベルに拡張される可能性があります）。ここでの動作は動詞のみで、例えば「opening」が1つのラベルになります（これに対し、他のデータセットでは「opening the door」のような動名詞句の形式をよく使います）。

• 動作の主体は人間、動物、物体、さらには自然現象です。

• データセットのクラス内差異とクラス間差異はどちらも非常に大きいです。

• 拍手（clapping）のように、音声情報に部分的または完全に依存する動作もあります。 上記の説明からわかるように、膨大なデータ量と多様性のため、このデータセットはかなり難しいです。以下の図はこのデータセットの一例です。1つの動作カテゴリが複数の動作主体によって実行されることがわかり、視覚的には差異が非常に大きく、動作の概念はかなり抽象的です。

サンプルビデオ

moments.csail.mit.edu/img/CAM_video_no_probs.mp4

関連論文

[1] Monfort M, Zhou B, Bargal S A, et al. Moments in Time Dataset: one million videos for event understanding[J].

[2] Salamon J, Jacoby C, Bello J P. A dataset and taxonomy for urban sound research[C]//Proceedings of the 22nd ACM international conference on Multimedia. ACM, 2014: 1041-1044.

[3] Sigurdsson G A, Russakovsky O, Gupta A. What Actions are Needed for Understanding Human Actions in Videos?[J]. arXiv preprint arXiv:1708.02696, 2017.