概要：2005年、イスラエルのWeizmann研究所はWeizmannデータベースを公開しました。このデータベースには10種類の動作（bend（曲がる）、jack（跳躍体操）、jump（跳ぶ）、pjump（原地跳ぶ）、run（走る）、side（横移動）、skip（飛び跳ねる）、walk（歩く）、wave1（片手を振る）、wave2（両手を振る））が含まれており、各動作には9つの異なるサンプルがあります。動画の視点は固定されており、背景は比較的単純で、各フレームには1人だけが動作を行っています。

データベース内のアノテーションデータには、クラスラベルの他に、前景の人物のシルエットと背景抽出用の背景シーケンスが含まれています。

概要

動画シーケンスにおける人間の動作は、関節運動を行う移動する胴体と突出した手足のシルエットとして見ることができます。我々は、人間の動作を時空間ボリューム内のシルエットによって誘発される3次元形状と見なします。我々は、Gorelickらによる最近の2D形状分析手法を採用し、時空間動作形状を扱うように一般化しました。我々の手法は、ポアソン方程式の解の特性を利用して、局所的な時空間顕著性、動作のダイナミクス、形状構造、方向などの時空間特徴を抽出します。これらの特徴が、動作認識、検出、クラスタリングに有用であることを示します。この手法は高速で、動画のアライメントを必要とせず、背景が既知の多くのシナリオ（但しこれに限定されません）に適用可能です。さらに、部分的な遮蔽、非剛体変形、スケールと視点の大きな変化、動作の実行における高度な不規則性、低品質の動画に対する我々の手法のロバスト性を実証します。

新着！ PAMI論文（完全版、更新された結果）はPDF形式（2MB）で（BibTeX）。
更新されたデータベース - 元のシルエットシーケンスとそのアライメントされたバージョン、およびロバスト性シーケンスは以下で見つけることができます。
ICCV論文（短縮版）はPDF形式（2MB）で（BibTeX）。

ポアソン特徴

我々は、ポアソン方程式の解を使用していくつかの時空間特徴を抽出します。以下の表では、異なる動作の3つのシーケンスに対するこれらの特徴を示しています。最初の2列は、元の動画シーケンスと抽出された前景マスクを示しています。3列目は、ポアソン方程式の解を、青（低値）から赤（高値）まで色分けして示しています。最後の3列は、我々が使用する時空間の「顕著性」、「平板性」、「棒状性」の特徴を示しています。詳細は論文を参照してください。以下の画像をクリックすると、完全な動画シーケンスを再生できます。

実験結果

論文では、4つの実験（動作クラスタリング、動作認識、ロバスト性実験、動作検出）の結果を報告しています。ここでは、最後の3つの結果を示します。

動作認識:

我々は、9人の異なる人物が、走る、歩く、飛び跳ねる、跳躍体操、前向きに2本足で跳ぶ、原地で2本足で跳ぶ、横に駆ける、両手を振る、片手を振る、曲がるなどの10種類の自然な動作を行う90個の低解像度（180 x 144、50fpsのデインターレース）の動画シーケンスのデータベースを収集しました。

周期的および非周期的な動作を同じフレームワークで扱い、周期の長さの違いを補償するために、時間方向にスライディングウィンドウを使用して時空間キューブを抽出しました。各時空間キューブは8フレームを持ち、連続する時空間キューブ間には4フレームの重複があります。

以下に、「1シーケンス除外」分類実験における、完全シーケンスと部分シーケンスの認識率をまとめます。

ロバスト性実験:

この実験では、動作の実行における高度な不規則性に対する我々の手法のロバスト性を実証します。我々は、さまざまな困難なシナリオで、不均一な背景の前を歩く人々の10個のテスト動画シーケンスを収集しました（以下のシーケンスとその前景マスクを参照）。我々の手法が、部分的な遮蔽、非剛体変形、および抽出された時空間形状の他の欠陥に対して比較的低い感度を持つことを示します。
以下の画像をクリックすると、完全な動画シーケンスを再生できます。

実験結果: 以下の表は、各テストシーケンスに対する1位と2位の選択肢とそれらの距離、および我々のデータベース内のすべての動作との中央距離を示しています。テストシーケンスは、1位に選ばれた動作との距離でソートされています。すべてのシーケンスは「歩く」と分類されました。

さらに、視点の大きな変化に対する我々の手法のロバスト性を実証します。この目的のために、我々は10個の追加シーケンスを収集しました。各シーケンスは、異なる視点（画像平面に対して0°から81°まで9°刻みで変化）から撮影された「歩く」動作を示しています。90度に近い角度のシーケンスには、シーケンス内でスケールの大きな変化が含まれていることに注意してください。0°から54°の視点のすべてのシーケンスは、1位（正解）と2位の最も近い動作の間に大きな相対的なギャップを持って正しく分類されました（以下の表を参照）。視点が大きくなると、徐々に性能が低下します。これは、視点の比較的大きな変化に対する我々の手法のロバスト性を実証しています。

バレエ映画における動作検出

この実験は、「ロンドンダンス」ウェブサイトの「バーミンガム王立バレエ」によるバレエダンスの映画シーケンスでの動作検出を示しています。「ロンドンダンス」ウェブサイト. 元の完全な動画はここ（WMV形式、400KB）でも見つけることができます。タスクは、入力動画内のすべての「カブリオール」パターン（クエリ）のインスタンスを検出することでした。
以下の画像をクリックすると、完全な動画シーケンスを再生できます。

BibTeX

PAMI論文: