このデータセットは、Deep Convolution Inverse Graphics Networkアルゴリズムの実験用データセットです。このアルゴリズムは、生成モデルを通じて、画像の平面回転、光の写真画、およびテクスチャをモデリングします。

  本文では、深度畳み込み逆グラフィックスネットワーク（DC - IGN）について紹介します。このネットワークは、様々な変換（例えば、オブジェクトの平面外回転、照明の変化、およびテクスチャ）に対して不変な、解釈可能な画像表現形式を学習することを目的としています。DC - IGNモデルは、複数層の畳み込みおよび逆畳み込み演算子から構成され、確率的勾配変分ベイズ（SGVB）アルゴリズム（KingmaとWelling）を用いて訓練されます。我々は、グラフィックコード層のニューロンに意味を持たせるための訓練プログラムを提案し、各グループが特定の変換（姿勢、光、テクスチャ、形状など）をそれぞれ表すように強制します。静的な顔画像が与えられた場合、我々のモデルは、基礎となる顔とは異なる姿勢、照明、さらにはテクスチャや形状の変化を持つ入力画像を再生成することができます。我々は、3Dレンダリングエンジンを学習するためのモデルの有効性に関する定性的および定量的な結果を提供します。さらに、我々は学習した表現形式を2つの重要な視覚認識タスクに利用します：（1）不変顔認識タスク；（2）生成モデリングの要約統計量としての表現形式の利用。


我々のモデルのデモでは、（a）仰角、（b）方位角、および（c）光のニューロンにおいて、異なる3Dスキャンを使用して、与えられた静的画像を再レンダリングします。


モデルアーキテクチャ
深度畳み込み逆グラフィックスネットワーク（DC - IGN）は、エンコーダとデコーダを持っています。我々は、様々なバリエーションを持つ変分オートエンコーダ（KingmaとWelling）のアーキテクチャに従います。エンコーダは、数層の畳み込み層とそれに続く最大プーリング層から構成され、デコーダは、数層の逆畳み込み層（最近傍補間を使用したアップサンプリング）とそれに続く畳み込み層から構成されます。（a）訓練中、データ（x）はエンコーダを通り、事後近似Q（z_i | x）を生成します。ここで、z_iはシーンの潜在変数（例えば、姿勢、光、テクスチャ、または形状）から構成されます。DC - IGNのパラメータを学習するために、以下の変分目的関数を使用し、確率的勾配降下法を用いて勾配を逆伝播させます：-log（P（x | z_i））+ KL（Q（z_i | x）|| P（z_i）） 各z_iに対して。我々は、非アクティブおよびアクティブな変換（例えば、顔の回転、特定の方向への光のスイープなど）を持つミニバッチを表示することで、DC - IGNに絡み合った表現を学習させることができます。（b）テスト中、データxはエンコーダを通り、潜在変数z_iを取得することができます。適切なグラフィックコードグループ（z_i）を操作するだけで、画像を異なる視点、照明条件、形状の変化などに再レンダリングすることができます。これは、既存の3Dグラフィックエンジンを操作する方法と同じです。