文脈 Snake Eyesは、サイコロを模した微小画像のデータセットです。 ![Snake Eyesのサンプル画像][1] 平行移動や回転に対する不変性は、多くのアプリケーションにおいて画像分類器が備えるべき重要な特性です。多くの問題では、データに平行移動があまり見られないように見える場合でも、これらの変換を用いてデータを拡張することがしばしば有益です。しかし、これらの変換が明確に関連するデータセットはあまりありません。「Snake Eyes」データセットは、回転と平行移動が問題の根本的な側面であり、直感的に関係すると信じられるだけでない問題を提供しようとしています。 画像分類器は、多くの場合、最初に完全な画像からバウンディングボックスを抽出するパイプラインで利用されます。このプロセスにより、分類器に中心合わせされたデータが提供されることがあります。しかし、分類器が見るデータには依然としていくらかの平行移動が存在する可能性があり、その現象は分類に関連しています。Snake Eyes分類器は、このような前処理から明らかに恩恵を受けることができます。しかし、ここでのポイントは、分類器が自らどれだけ学習できるかを学ぶことです。特に、CNNの平行移動に対する「組み込み」の不変性を示したいと思います。 内容 Snake Eyesには、1つまたは2つのサイコロを振った様子を模した人工画像が含まれています。表面の模様は、最大3つの黒い点を含むように変更されており、単に点を数えるだけでは問題を解くことができません。データはPythonプログラムを使用して合成され、各画像は各サイコロの位置と角度をモデル化する一連の浮動小数点数パラメータから生成されます。 ![Snake Eyesの表面パターンで、独特な点の欠落がある][2] データ形式はバイナリで、401バイトのレコードがあります。最初のバイトにはクラス（1から12、0から始まらないことに注意）が含まれ、残りの400バイトは画像の行です。私たちは100万枚の画像を提供しており、それぞれ10万件のレコードを含む10個のファイルと、1万枚の画像を含む追加のテストセットに分割されています。 インスピレーション 私たちは、機械学習の研究でよく研究される人気の「微小画像」データセットであるMNIST、CIFAR - 10、Fashion - MNISTに影響を受けました。ただし、私たちのデータセットの画像はより小さく、20x20で、12クラスです。縮小されたサイズは、利用可能なデータポイント（100万枚の画像）で各クラスの実際の3Dおよび6D多様体を近似するのに役立つはずです。 データは人工的で、パターンが限られており明確に定義されており、ノイズがなく、適切にアンチエイリアシングされています。これは、精度を95％から97％に向上させ、より深いネットワークで99％が可能かどうかを考えることではありません。最終的にどの方法を使っても100％の精度未満になることは期待していません。私たちが興味を持っているのは、異なる方法の効率性をどのように比較するか、異なるモデルを訓練するのがどれだけ難しいか、および平行移動と回転の不変性がどのように強制または達成されるかです。 私たちはまた、多様体学習の概念を研究することにも興味があります。データは、2つのサイコロの異なる表面の組み合わせの可能性により、クラス内の変動性がいくらかあります。しかし、ほとんどの変動は平行移動と回転に起因します。私たちは、400次元でこれらの多様体を抽出できるように十分なデータをサンプリングし、事前訓練の役割や、全体のデータの多様体と個別のクラスの多様体のモデリングの関係などのトピックを調査することを期待しています。 平行移動だけでもかなり非凸な多様体を作成しますが、私たちのクラスには、いくつかの線形結合が実際に別のクラスになるという特性もあります（例えば、「2」の面の2枚の画像が「4」のクラスの画像になります）。この特性が異なる手法にとって問題をどれだけ難しくするかを見るのが楽しみです。 私たちはまた、ニューラルネットワークにとって悪名高い「スパイラル」問題の画像検出版を作成できたらいいなと密かに期待しています。私たちは、畳み込みであるかどうかに関係なく、ロジスティックまたはReLU活性化関数やSGD訓練などの従来の手法を使ってこの問題を解くニューラルネットワークを訓練することに成功した最初の人に、私の地元のカフェで受け取れるハムサンドイッチ1つを賞品として提供します。99％の精度で十分です。結果として得られるネットワークは敵対的なインスタンスに影響を受けやすいかもしれませんが、これは問題ありません。ただ、あなたがサンドイッチを食べている間、私たちはいつもそれについて文句を言い続けるでしょう。 [1]: https://i.imgur.com/gaD5UtQ.png [2]: https://imgur.com/gIcZVLN.png