ObjectNetとは何ですか？

• 科学の他の分野からコントロールのアイデアを借りた新しい種類のビジョンデータセットです。

• 訓練セットはなく、テストセットのみです！あなたのビジョンシステムを十分に試してみましょう。

• 新しい背景の上で新しい視点からオブジェクトを意図的に収集したものです。

• 50,000枚の画像からなるテストセットで、ImageNetと同じ規模で、回転、背景、視点に関するコントロールがあります。

• 313のオブジェクトクラスで、113はImageNetと重複しています。

• 性能が大幅に低下します。これは、実世界のビジョンシステムで期待できることです！

• 微調整に強く、非常に難しい転移学習の問題です。

バイアスのコントロールにより変動が増加します

人間には簡単で、機械には難しい

堅牢性、バイアス、安全性を考慮した次世代のオブジェクト認識アルゴリズムの開発を支援する準備ができています。 コントロールにより、ビジョンだけでなく、他の機械学習データセットからバイアスを取り除くことができます。

ObjectNetは、オブジェクトの背景、回転、撮影視点がランダムなコントロール付きのオブジェクト認識用の大規模な実世界のテストセットです。

ほとんどの科学的実験では、データから取り除かれる交絡因子をコントロールして、被験者がデータの些細な相関を利用してタスクを遂行できないようにしています。これまで、大規模な機械学習やコンピュータビジョンのデータセットには、このようなコントロールが欠けていました。このため、新しいデータセットに対して微調整する必要があり、データセット上では実世界のアプリケーションよりも良好な性能を示すモデルが生まれています。ObjectNetでテストすると、バイアスのコントロールにより、オブジェクト検出器の性能は他のベンチマークに比べて40～45％低下します。コントロールにより、ObjectNetは微調整に対して堅牢で、性能の向上はわずかです。

私たちは、画像の収集とアノテーションをクラウドソーシングすることで、コントロール付きのデータセットを収集できる高度に自動化されたプラットフォームを開発しました。ObjectNetはImageNetのテストセットと同じ規模（50,000枚の画像）で、汎化能力を促進するために訓練セットとペアになっていません。このデータセットは、オブジェクトが大きく中央に配置され、遮蔽されていないためImageNetよりも簡単ですが、コントロールのために難しい面もあります。ここではオブジェクト認識に焦点を当てていますが、コントロール付きのデータは、機械学習全体で自動化ツールを使用して大規模に収集することができ、モデルを新しい方法で試すデータセットを生成し、研究者に貴重なフィードバックを提供することができます。この研究は、汎化性、堅牢性、そしてより人間に近いコンピュータビジョンの研究や、結果が実世界の性能を予測できるデータセットの作成に新たな道を開きます。

引用

Andrei Barbu, David Mayo, Julian Alverio, William Luo, Christopher Wang, Dan Gutfreund, Josh Tenenbaum, and Boris Katz. Objectnet: A large-scale bias-controlled dataset for pushing the limits of object recognition models. In Advances in Neural Information Processing Systems 32, pages 9448–9458. 2019.