このアーキテクチャは2種類のマッピング方式を提供しており、非線形次元削減に非常に優れた方法のようです。それは訓練事例の数に対して線形（またはそれ以上）で、最終的なエンコードモデルはかなりコンパクトで高速です。しかし、誤差逆伝播法を用いて深層オートエンコーダを最適化することは困難で、初期の重みが小さい場合、誤差逆伝播の勾配が消失します。私たちは教師なし逐次事前学習や、エコー状態ネットワークのように慎重に重みを初期化します。

事前学習タスクには3種類の浅層オートエンコーダがあります：

（1）オートエンコーダとしてのRBM；

（2）ノイズ除去オートエンコーダ；

（3）圧縮オートエンコーダ。

大量のラベル付きデータセットがない場合、事前学習はその後の識別学習に役立ちます。大量のラベル付きデータセットに対しては、深層ニューラルネットワークであっても、教師なし学習による重みの初期化は必ずしも必要ありません。事前学習は深層ネットワークの重みを初期化する最初の良い方法でしたが、現在では他の方法もあります。ただし、ネットワークを拡張する場合は、再度事前学習を行う必要があります。