私たちは、姿勢、照明、表情、遮蔽、個人差など、様々な外観変化の下でも確実かつ正確に動作する顔特徴点検出アルゴリズムを構築するために努力している過程で、訓練データセットには高解像度のサンプルが含まれている必要があり、それによってテスト時に高解像度のテスト画像に正確に適合できることに気づきました。多くの顔データベースが存在するものの、私たちの要件、特に解像度の要件を満たすものは見つかりませんでした。そこで、注釈付きのFlickr画像を使って新しいデータセットを構築しました。

具体的には、データセットの構築は以下の通りです。まず、Flickr上で様々なキーワードを使って検索を行い、大量の候補写真を収集しました。すべてのケースにおいて、クエリには「portrait」というキーワードを含め、「family」「outdoor」「studio」「boy」「wedding」などの異なる用語を追加しました（複数の言語でクエリを繰り返すことで文化的な偏りを避けようとしました）。生成された候補集合に対して顔検出器を実行し、十分に大きな顔（幅が500ピクセル以上）を含む画像の部分集合を特定しました。この部分集合はさらに手動でフィルタリングされ、誤検出、側面画像、低画質の画像が取り除かれました。受け入れられた各顔について、顔と一定の割合の背景を含む元画像の切り抜きバージョンを生成しました。場合によっては、顔が元画像の端に非常に近いか接触しているため、切り抜き画像の中心に位置していないこともあります。また、多くの写真には近接した複数の人物が含まれているため、切り抜き画像には他の顔のインスタンスが含まれることもあります。

最後に、Amazon Mechanical Turkを使って画像に手動で注釈を付け、目、鼻、口、眉毛、顎の線を正確に位置特定しました。（PUT顔データベースと同じ注釈規則を採用しました。）このタスクをトルコの作業者に支援してもらうために、点の位置をPUTデータベースで訓練されたSTASMアルゴリズムの結果に初期化しました。しかし、HelenデータセットはPUTよりもはるかに多様であるため、自動初期化された点は通常、正しい位置から大きく離れていました。

とにかく、この特別な注釈付けタスクには、高品質な結果を得るために、データの大量のレビューと後処理が必要であることがわかりました。最終的に、これは関与する自由度の多さに起因します。例えば、トルコの作業者はしばしば、構成要素を入れ替えたり（目と眉毛、あるいは内唇と外唇を入れ替える）、点の位置を大幅に移動させてその役割を変えたりします（例えば、目の隅や口の角として機能する異なる頂点を選択する）。このプロセスを支援するために、インターフェイスのグラフィックスヒント、トレーニングビデオ、資格テストが使用されました。さらに、データセットの一貫性と統一性を強制する自動化プロセスも開発されました。上記のことに加えて、著者は構成要素レベルでこれらの顔を手動でレビューし、注釈の誤りを特定しました。許容できない誤りがある構成要素は、トルコの作業者に修正のために再提出されました。

生成されたデータセットは、2000枚の訓練画像と330枚のテスト画像で構成され、主要な顔の構成要素に関する非常に正確、詳細、かつ一貫した注釈が付けられています。

参考文献

対話型顔特徴点検出

Vuong Le, Jonathan Brandt, Zhe Lin, Lubomir Boudev, Thomas S. Huang