街景チャレンジフレームワークは、画像、注釈、ソフトウェア、および物体検出性能測定の集合です。 各画像は、DSC - F717カメラで撮影され、撮影場所はマサチューセッツ州のボストンとその周辺です。 その後、各画像に手動で注釈を付け、[自動車、歩行者、自転車、建物、木、空、道路、歩道、および商店]を含む9つの物体カテゴリの各例を多角形で囲みます。 これらの画像の注釈付けは、細心の注意を払って行われ、遮蔽やその他の一般的な画像変換を考慮して、物体が常に同じ方法で注釈付けされるようにします。   StreetScenesのラベルは、LabelMeの注釈とも互換性があり、ここでは1対1の変換ツールが提供されています。 データ収集に関する詳細情報については、Stanely Bileschiの論文を参照してください。

このフレームワークの目的は、完全な検出フレームワークへのモジュール式アクセスを提供し、開発を任意の部分で独立して行えるようにすることです。 研究者は、システムの他の部分を設計する必要なく、より良い学習アーキテクチャまたはより良い機能を構築することができます。

StreetScenesチャレンジフレームワークの性能を測定するために、作物検出測定、点検出測定、およびバウンディングボックス検出測定という3つの独立した物体検出測定法を開発しました。 これらの測定法は相補的であり、他の測定法が意味を持たない場所で機能します。

物体検出モデル

作物単位の物体検出

作物単位の物体検出は、物体検出システムの能力を測定する簡単で一般的な方法です。 この方法では、まず、ターゲット物体カテゴリの正例と負例の小さな切り抜き画像を、より大きな画像から抽出します。 たとえば、正例の自動車画像はきれいに切り抜かれた自動車の画像を含み、負例の自動車画像は自動車以外の何かを含みます。 これらの画像は、何らかの方法で数学的に表現され、たとえばウェーブレットや勾配ヒストグラムなどを使って表現され、その後、統計的学習マシンを使って2つのセット間の分類器を学習させます。 学習した検出器の有効性を測定するために、トレーニングセットの一部を性能測定に予約します（私は約3分の1を使うのが好きです）。 このトレーニング/テスト分割を数回繰り返すことで、作物単位の物体検出の統計的に有意な測定が得られます。

点単位の物体検出

点単位の物体検出は、作物単位の物体検出に似ていますが、関心のある物体を囲むボックスを分類するのではなく、物体内の点（およびその近傍）を分類します。 この方法では、正例の点セットと負例の点セットが選択されます（つまり、物体の内側と外側の点）。 これらの各点で、数学的特徴が抽出され、一般的にはその点の近傍の明るさと色のパターンに依存します。 これらの特徴が抽出されると、作物単位の物体検出と同じように学習とテストが行われます。

バウンディングボックス単位の物体検出

バウンディングボックス単位の物体検出は、この種のシーンで実際に有用な物体検出システムを実行するのに最も近い測定法です。 この方法では、作物単位の検出と同じように物体検出器が学習され、その後、予約されたテスト画像セットに対して複数の位置とスケールで適用されます。 検出器の応答は、局所近傍抑制アルゴリズムに送られ、テストセット内で物体が存在する可能性のある位置と信頼度のセットを出力します。 このセットは、人間の基準位置と比較され、位置とスケールが十分に近い検出結果は真の検出と呼ばれます。 このデータを使って、精度 - 再現率曲線が描画され、システム全体の性能が測定されます。