コンテキスト 内容 姿勢、照明、表情、遮蔽、個人差など、幅広い外観変化の下で確実かつ正確に動作できる顔の特徴点検出アルゴリズムを構築するために、訓練セットに高解像度のサンプルを含める必要があることに気づきました。これにより、テスト時に高解像度のテスト画像を正確に適合させることができます。数多くの顔データベースが存在しますが、特に解像度の要件を満たすものは見つかりませんでした。そのため、注釈付きのFlickr画像を使用して新しいデータセットを構築しました。 具体的には、データセットは以下のように構築されました。まず、Flickrで様々なキーワード検索を行い、大量の候補写真を収集しました。すべてのケースで、クエリには「ポートレート」というキーワードが含まれ、「家族」「屋外」「スタジオ」「少年」「結婚式」などの異なる用語が追加されました。（いくつかの異なる言語でクエリを繰り返すことで、文化的バイアスを避ける試みがなされました。）結果として得られた候補セットに顔検出器を適用し、十分に大きな顔（幅が500ピクセル以上）を含む画像のサブセットを特定しました。このサブセットはさらに手動でフィルタリングされ、偽陽性、プロファイル画像、低品質の画像が取り除かれました。各承認された顔について、顔と適切な量の背景を含む元画像の切り抜き版を生成しました。場合によっては、顔が元画像の端に非常に近い、または接触しているため、切り抜き画像では中央に位置していないことがあります。また、多くの写真には近接した複数の人物が含まれているため、切り抜き画像に他の顔のインスタンスが含まれることもあります。 最後に、画像はAmazon Mechanical Turkを使用して手動で注釈付けされ、目、鼻、口、眉毛、顎線が正確に位置特定されました。（PUT顔データベースと同じ注釈規則を採用しました。）このタスクでTurkの作業者を支援するために、点の位置をPUTデータベースで訓練されたSTASMアルゴリズムの結果で初期化しました。しかし、HelenデータセットはPUTよりもはるかに多様であるため、自動的に初期化された点はしばしば正しい位置から大きく外れていました。 いずれにせよ、この特定の注釈タスクには、高品質の結果を保証するために、通常よりも多くのデータのレビューと後処理が必要であることがわかりました。最終的にこれは、関与する自由度の数が多いことに起因しています。たとえば、Turkの作業者がコンポーネントを入れ替える（目と眉毛を交換したり、内唇と外唇を交換したり）、あるいは点の位置を十分にシフトさせてその役割を変更する（目や口角として機能する異なる頂点を選択するなど）ことが頻繁に起こりました。インターフェイスのグラフィックキュー、トレーニングビデオ、資格テストがこのプロセスを支援するために利用されました。また、データセットの一貫性と均一性を保証するための自動化プロセスも開発されました。上記に加えて、著者らはコンポーネントレベルで顔を手動でレビューし、注釈の誤りを特定しました。許容できない誤りのあるコンポーネントは、修正のためにTurkに再提出されました。 結果として得られたデータセットは、2000枚の訓練画像と330枚のテスト画像から構成され、主要な顔のコンポーネントに対する高精度、詳細、かつ一貫性のある注釈が付けられています。データセットのサンプリングは次のセクションで示されます。 謝辞 データセットはhttp://www.ifp.illinois.edu/~vuongle2/helen/ から取得されたもので、次のように引用する必要があります。 Interactive Facial Feature Localization Vuong Le, Jonathan Brandt, Zhe Lin, Lubomir Boudev, Thomas S. Huang ECCV2012 元の著者はVuong Le (vuongle2@gmail.com, vuongle2@illinois.edu) まで連絡することができます。 インスピレーション 私は単にこのデータセットを使って遊び、SimGANのアイデアを適用して、グレースケールのシミュレート画像をリアルなカラー画像に変換できるかどうかを確認したいと思いました。