再帰型ニューラルネットワーク（RNN）には、コンピュータが計算できるあらゆるものを計算できる2つの強力な特性があります。（1）大量の有効な情報を保存できる分散型隠れ状態（2）複雑な方法で隠れ状態を更新できる非線形ダイナミクス。RNNの強力な計算能力と勾配消失（または爆発）の問題により、訓練が難しくなっています。多層逆伝播を行う際、重みが小さい場合、勾配は指数関数的に縮小し、重みが大きい場合、勾配は指数関数的に増大します。典型的なフィードフォワードニューラルネットワークのいくつかの隠れ層は指数効果に対応できますが、一方で、長いシーケンスのRNNでは、勾配が消失（または爆発）しやすく、良好な初期重みがあっても、複数の時間入力に依存する現在の目標出力を検出することが難しく、遠隔依存性を処理することが困難です。

RNNを学習する方法は以下の通りです：

1. 長短期記憶（LSTM）：長期記憶値を持つ小さなモジュールを使ってRNNを作成します。

2. Hessian Free Optimization：最適化アルゴリズムを使用して勾配消失問題を解決します。

3. エコー状態ネットワーク：入力→隠れ、隠れ→隠れ、出力→隠れのリンクを初期化し、隠れ状態に大規模な弱結合発振器のリザーバを持たせ、入力によって選択的に駆動されるようにします。

4. モーメンタムを用いた初期化：エコー状態ネットワークと同様に、モーメンタムを使ってすべての接続を学習します。