Look into Person (LIP)は、人のセマンティック理解に焦点を当てた新しい大規模データセットです。 以下に詳細な説明を示します。

1.1 ボリューム

このデータセットには、19種類のセマンティックな人体部位ラベルを持つ精緻なピクセル単位のアノテーションと、16個のキーポイントを持つ2D人体姿勢が付けられた50,000枚の画像が含まれています。

1.2 多様性

アノテーション付きの50,000枚の画像は、COCOデータセットから切り出された人物インスタンスで、サイズが50 * 50より大きいものです。現実世界のシナリオから収集されたこれらの画像には、挑戦的な姿勢や視点で現れる人物、重度の遮蔽、様々な外見、低解像度のものが含まれています。 多様性を高めるために、さらに多くの画像を収集してアノテーション付けする作業を進めています。

データ収集

単一人物

画像を3つのセットに分けました。訓練セットには30462枚、検証セットには10000枚、テストセットには10000枚の画像が含まれています。

さらに、"Human parsing with contextualized convolutional neural network." ICCV'15で言及されている別の大規模データセットがあり、これはファッション画像に焦点を当てています。17000枚の画像を含むこのデータセットを、追加の訓練データとしてダウンロードすることができます。

複数人物

複数人物のパーシング研究を促進するために、複数の人物インスタンスが含まれる画像を収集し、インスタンスレベルの人物パーシングに関する最初の標準的で包括的なベンチマークを構築しました。私たちのCrowd Instance-level Human Parsing Dataset (CIHP)には、28280枚の訓練画像、5000枚の検証画像、5000枚のテスト画像が含まれており、合計で38280枚の複数人物画像があります。

動画における複数人物のパーシング

VIP(Video instance-level Parsing)データセットは、最初の動画における複数人物のパーシングベンチマークで、様々なシナリオをカバーする404本の動画で構成されています。各動画の連続する25フレームごとに、1フレームにピクセル単位のセマンティック部位カテゴリとインスタンスレベルの識別情報が密集してアノテーション付けされています。合計で21247枚の密集してアノテーション付けされた画像があります。これらの404シーケンスを、304個の訓練シーケンス、50個の検証シーケンス、50個のテストシーケンスに分けています。

• VIP_Fine：訓練セットと検証セットのすべてのアノテーション付き画像と詳細なアノテーション。

• VIP_Sequence：各VIP_Fine画像を中心とした前後10フレームの計20フレーム。

• VIP_Videos：VIPデータセットの404本の動画シーケンス。

画像ベースの多姿勢バーチャルトライオン

MPV (Multi-Pose Virtual try on)データセットは、35,687枚の人物画像と13,524枚の衣服画像で構成され、解像度は256x192です。各人物は異なる姿勢を持っています。これらを訓練セットとテストセットにそれぞれ52,236個と10,544個の3要素組に分割しています。

引用

@inproceedings{gong2018instance,
  title={Instance-level human parsing via part grouping network},
  author={Gong, Ke and Liang, Xiaodan and Li, Yicheng and Chen, Yimin and Yang, Ming and Lin,
Liang},
  booktitle={Proceedings of the European Conference on Computer Vision (ECCV)},
  pages={770--785},
  year={2018}
}

@inproceedings{gong2017look,
  title={Look into person: Self-supervised structure-sensitive learning and a new
benchmark for human parsing},
  author={Gong, Ke and Liang, Xiaodan and Zhang, Dongyu and Shen, Xiaohui and Lin, Liang},
  booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},
  pages={932--940},
  year={2017}
}

@inproceedings{zhou2018adaptive,
  title={Adaptive temporal encoding network for video instance-level human parsing},
  author={Zhou, Qixian and Liang, Xiaodan and Gong, Ke and Lin, Liang},
  booktitle={Proceedings of the 26th ACM international conference on Multimedia},
  pages={1527--1535},
  year={2018}
}

@article{liang2018look,
  title={Look into person: Joint body parsing \& pose estimation network and a new benchmark},
  author={Liang, Xiaodan and Gong, Ke and Shen, Xiaohui and Lin, Liang},
  journal={IEEE transactions on pattern analysis and machine intelligence},
  volume={41},
  number={4},
  pages={871--885},
  year={2018},
  publisher={IEEE}
}

@inproceedings{liang2015human,
  title={Human parsing with contextualized convolutional neural network},
  author={Liang, Xiaodan and Xu, Chunyan and Shen, Xiaohui and
Yang, Jianchao and Liu, Si and Tang, Jinhui and Lin, Liang and Yan, Shuicheng},
  booktitle={Proceedings of the IEEE international conference on computer vision},
  pages={1386--1394},
  year={2015}
}

ライセンス

カスタム