何愷明とXinlei Chenの論文Exploring Simple Siamese Representation Learning（シンプルなシアメーズ表現学習の探索）が最優秀論文のノミネートを獲得しました。

https://arxiv.org/abs/2011.10566

論文で主に研究された内容は以下の通りです：

「シアメーズネットワーク」（Siamese networks）は最近の様々な教師なし視覚表現学習モデルにおける一般的な構造となっています。これらのモデルは、画像の2つの拡張バージョン間の類似性を最大化しますが、collapseの解を避けるためにいくつかの条件を満たさなければなりません。本論文では、シンプルなシアメーズネットワークが、(i) 負のサンプルペア、(ii) 大きなバッチ、(iii) モメンタムエンコーダのいずれも使用しなくても、意味のある表現を学習できるという驚くべき実験結果を報告します。我々の実験により、損失と構造に関してcollapseの解が実際に存在することが示されましたが、stop-gradient操作がcollapseを防止する上で重要な役割を果たしています。我々はstop-gradientの意味に関する仮説を提示し、さらにその仮説を検証する概念実証実験を示します。我々の「SimSiam」手法は、ImageNetと下流タスクにおいて競争力のある結果を得ています。我々は、このシンプルなベースラインが、教師なし表現学習におけるシアメーズ構造の役割について再考するきっかけになることを期待しています。

コードはオープンソース化されています https://github.com/facebookresearch/simsiam

もう1つの最優秀論文ノミネートは、ミネソタ大学のチームYasamin Jafarian, Hyun Soo Parkの

Learning High Fidelity Depths of Dressed Humans by Watching Social Media Dance Videos

https://arxiv.org/abs/2103.03319