誤差逆伝播法は、人工ニューラルネットワークが1バッチのデータを計算処理した後の各ニューロンの誤差分布を計算する標準的な方法ですが、いくつかの問題もあります。まず、訓練データにラベル付けを行う必要がありますが、ほとんどのデータにはラベルが付けられていません。次に、学習時間が不十分です。これは、隠れ層の数が多いネットワークでは学習が遅くなることを意味します。第三に、局所的な最悪の状況に陥る可能性があります。したがって、深層ネットワークにとってこれだけでは不十分です。

教師なし学習方法は、誤差逆伝播法の制限を克服します。勾配法を使用して重みを調整することで、アーキテクチャの効率性と単純性を維持するのに役立ち、感覚入力構造のモデリングにも使用できます。特に、重みを調整して、感覚入力を生成する生成モデルの確率を最大化します。信念ネットワークは、確率変数から構成される有向非巡回グラフであり、観測されていない変数の状態を推論することができ、また変数間の相互作用を調整して、ネットワークが訓練データを生成する可能性を高めることができます。

初期のグラフィカルモデルでは、専門家が画像構造と条件付き確率を定義しました。これらのグラフは疎結合であり、正しい推論を行うことに重点を置いており、学習ではありません。しかし、ニューラルネットワークにとっては、学習が重点であり、その目的は推論を容易にするための解釈可能性や疎結合性ではありません。