MSRAテキスト検出500データベース（MSRA - TD500）は、テキスト検出アルゴリズムを評価するための基準として、自然画像中のテキスト検出分野、特に任意の方向のテキストを検出する分野の最新の進展を追跡することを目的としています。
MSRAテキスト検出500データベース（MSRA - TD500）は500枚の自然画像を含み、ポケットカメラを使って室内（オフィスやショッピングモール）と室外（街道）のシーンから撮影されました。室内画像は主に標識、門牌、警告標識で、室外画像は主に複雑な背景の中の案内標識や広告看板です。画像の解像度は1296x864から1920×1280まで様々です。
テキストの多様性と画像背景の複雑性のため、このデータセットは挑戦的です。テキストは異なる言語（中国語、英語、または両者の混合）、フォント、サイズ、色、方向で表現されることがあります。背景には植生（例えば木や低木）や繰り返しパターン（例えば窓やレンガ）が含まれることがあり、これらはテキストとあまり区別がつきません。
データセットは2つの部分に分けられます：訓練セットとテストセット。訓練セットは元のデータセットからランダムに選択された300枚の画像を含み、残りの200枚の画像がテストセットを構成します。このデータセットのすべての画像は完全にアノテーション付けされています。このデータセットの基本単位はテキスト行（図1参照）であり、ICDARデータセットで使われている単語ではありません。なぜなら、中国語のテキスト行を空白に基づいて単語に分割することは難しく、英語のテキスト行であっても、高度な情報がない状態で単語分割を行うのは非常に難しいからです。

メタデータと正解データ

正解データの生成プロセスは図2に示されています。現在のテキスト検出評価方法は水平テキストにのみ対応していますが、我々は新しい評価プロトコルを提案しました（詳細は[1]を参照）。我々のプロトコルでは最小面積矩形を使用しています。なぜなら、これら（図2（b）の緑色の矩形）は軸に沿った矩形（図2（b）の赤色の矩形）よりも緊密だからです。

 

図2. 正解データの生成。(a) 人によるアノテーション。アノテーターは、各テキスト行を4頂点の多角形（赤い点と黄色の線）で特定して囲む必要があります。(b) 正解矩形（緑色）。正解矩形は、多角形を使って最小面積矩形を当てはめることで自動的に生成されます。

特に、テキスト検出アルゴリズムが処理しにくい困難なテキスト（小さすぎる、遮蔽されている、ぼやけている、または切り取られている）に対応するために、困難と見なされる各テキストインスタンスには「困難」ラベルが付けられます（図1の赤色の矩形に注意）。このような困難なテキストの検出ミスは罰せられません。

正解ファイルの形式

データベースの各画像には正解ファイルが対応しており、その各行にはテキストの情報が記録されています。正解ファイルの形式は図3に示されています。

図3. 正解ファイル形式の説明。インデックスフィールドは無視して構いません。テキストが「困難」とラベル付けされている場合、困難ラベルは「1」で、そうでない場合は「0」です。

関連タスク 自然画像におけるテキスト検出

目的： 自然画像中のテキストの位置を特定し、範囲を推定すること

重要性： 自然シーンに埋め込まれたテキスト情報を理解することは非常に重要です。なぜなら、画像理解、画像や動画の検索、地理的位置特定、ナビゲーションなど、多くの応用があるからです。

評価プロトコル： 評価プロトコルの詳細は [1] に記載されています。

参考文献

C. Yao, X. Bai, W. Liu, Y. Ma and Z. Tu. Detecting Texts of Arbitrary Orientations in Natural Images. CVPR 2012 (PDF)

連絡先著者

Cong Yao
華中科技大学
Email: yaocong2010@gmail.com