BPニューラルネットワークは多層のフィードフォワードニューラルネットワークであり、その主な特徴は、信号が前方伝播し、誤差が逆方向に伝播することです。具体的には、以下のような隠れ層を1つだけ含むニューラルネットワークモデルについて説明します。

BPニューラルネットワークのプロセスは主に2つの段階に分けられます。第1段階は信号の前方伝播で、入力層から隠れ層を経て、最後に出力層に到達します。第2段階は誤差の逆方向伝播で、出力層から隠れ層、最後に入力層へと進み、隠れ層から出力層への重みとバイアス、入力層から隠れ層への重みとバイアスを順次調整します。

3層BPニューラルネットワーク

BPニューラルネットワークの流れ

ニューラルネットワークの基本構成要素はニューロンです。ニューロンの一般的なモデルは図の通りです。ここでよく使われる活性化関数には、閾値関数、シグモイド関数、双曲正接関数などがあります。 

ニューロンモデル

ニューロンの出力は次の通りです。 

ニューロンの出力

ニューラルネットワークは、複数のニューロンを一定の規則に従って結合したネットワークで、図のようになります。 

ニューラルネットワークの模式図 

図からわかるように、ニューラルネットワークは入力層、隠れ層（中間層）、出力層で構成されています。入力層のニューロンの数は入力データの次元数と同じで、出力層のニューロンの数はフィッティングする必要のあるデータの数と同じです。隠れ層のニューロンの数と層数は、設計者がいくつかの規則と目標に基づいて設定する必要があります。ディープラーニングが登場する前は、隠れ層の層数は通常1層で、つまり一般的に使われるニューラルネットワークは3層のネットワークでした。