このStreetScenesチャレンジフレームワークは、画像、注釈、集合ソフトウェア、およびパフォーマンス測定、物体検出のためのものです。 各画像はDSC - F717カメラの周辺で撮影され、各画像上には、[自動車、歩行者、自転車、建物、木、空、道路、歩道、および商店]を含む9つの物体クラスの各例を囲むように多角形がマークされています。 これらの画像のマーキングは、遮蔽やその他の一般的な画像変換に関して物体が常に同じ方法でマークされるように、慎重に検査して行われまし。StreetScenesのラベルは、LabelMeの注釈とも互換性があります。


これらの例は、データベースからのいくつかのサンプル画像を低解像度で表示しています。 ラベル付き画像は、データベース内のラベルのタイプを示しています。 これらの図では、多角形は不透明で色付けされていますが、ラベルファイルでは、多角形は単純な角のリストとして列挙されています。 これらの画像には、図示を簡単にするために、歩行者と自動車の周りのバウンディングボックスも表示されていますが、データベースにはこれらの物体の周りの実際の多角形も含まれています。

このフレームワークの目的は、完全な検出フレームワークへのモジュール式アクセスを提供し、開発を独立して行えるようにすることです。 研究者は、システムの残りの部分を設計することなく、より良い学習アーキテクチャやより良い機能を構築することができます。

StreetScenesチャレンジフレームワークのパフォーマンスを測定するために、3つの個別の物体検出測定法が開発されまし。つまり、「クロップ」検出測定法、「ポイントワイズ」検出測定法、および「バウンディングボックス」ワイズ検出測定法です。 これらの測定法は、互いに補完的な機能を持ち、他の測定法が意味を持たない場所で動作します。

物体検出モデル

クロップワイズ物体検出
クロップワイズ物体検出は、物体検出システムの機能を測定する簡単で汎用的な方法です。 この方法では、まず、大きな画像から目的の物体クラスの正例と負例の小さなクロップを抽出します。 例えば、正の自動車画像には適切にクロップされた自動車画像が含まれ、負の自動車画像には自動車以外の画像が含まれます。 これらの画像は、ある種の数学的な方法で表現され、例えばウェーブレットや勾配ヒストグラムなどで表現され、その後、統計的学習機を使用して2つのグループ間の分類器を学習します。 学習した検出器の有効性を測定するために、一部のトレーニングセットを残してパフォーマンスを測定します（私は3分の1を使用することを好みます）。 このトレーニング/テストを数回繰り返すことで、クロップ方向の物体を統計的に測定することができます。




ポイントワイズ物体検出
ポイントワイズ物体検出は、クロップ物体検出に似ていますが、違いは、関心のある物体に適合するボックスを分類するのではなく、物体内部の点（およびその近傍）を分類することです。 この方法では、正の点の集合と負の点の集合（つまり、物体の内部と外部の点）を選択します。 これらの点のそれぞれで、通常はその点の近傍の輝度と色のパターンに依存する数学的特徴を抽出します。 これらの特徴が抽出されたら、クロップ物体検出と同じように学習とテストを行います。


個人ダウンロードはまだ利用できません。

バウンディングボックスワイズ物体検出
バウンディングボックスワイズ物体検出は、これらのタイプのシーンで実際に有用な物体検出システムを動作させるのに最も近い測定法です。 この方法では、クロップ検出と同じように物体検出器をトレーニングしますが、その後、複数の位置とスケールの一連の保留されたテスト画像に適用します。 検出器の応答は、局所近傍抑制アルゴリズムに送られ、このアルゴリズムはテストセット内の一連の可能性のある物体の位置と信頼度を出力します。 次に、この集合を人間の基準位置と比較し、位置とスケールが十分に近い検出を真の検出と呼びます。 このデータを使用して、精度 - 再現率曲線を描画してシステム全体のパフォーマンスを測定します。