初代ニューラルネットワークとして、パーセプトロンはニューロンが1つだけの計算モデルです。まず、元の入力ベクトルを特徴ベクトルに変換し、次に手書きプログラムで特徴を定義し、そして各特徴にどのように重みを付けてスカラーを得るかを学習します。スカラー値がある閾値を超えた場合、入力ベクトルはターゲットクラスの肯定的な例と見なされます。標準的なパーセプトロン構造はフィードフォワードモデルで、つまり入力がノードに送られ、処理されて出力結果が生成されます。底部から入力され、上部から出力されます。下図のとおりです。ただし、それには限界もあります。一度手書きコードの特徴が決まってしまうと、学習に大きな制約を受けます。これはパーセプトロンにとって致命的です。変換は翻訳に似ていますが、パターン認識の重点はパターンの識別にあります。これらの変換がグループを形成した場合、学習するパーセプトロン部分は識別を学習できないので、複数の特徴ユニットを使用してサブパターンの変換を識別する必要があります。

隠れユニットのないネットワークは、入出力マッピングのモデリングにも大きな限界があります。線形ユニット層を追加しても解決できません。なぜなら、線形の重ね合わせは依然として線形であり、固定された非線形出力ではこのマッピングを構築できないからです。したがって、多層の適応型非線形隠れユニットを構築する必要があります。