入力空間における非線形分類問題については、非線形変換によってある次元の特徴空間における線形分類問題に変換することができ、高次元特徴空間

で線形サポートベクターマシンを学習します。線形サポートベクターマシンの学習の双対問題では、目的関数と分類決定関数はすべてインスタンス間の内積のみに関係するため、非線形変換を明示的に指定する必要はなく、代わりにカーネル関数で内積を置き換えます。カーネル関数は、非線形変換後の2つのインスタンス間の内積を表します。具体的には、 は関数、または正定カーネルであり、これは入力空間から特徴空間への写像 が存在することを意味します。任意の入力空間の に対して、

線形サポートベクターマシンの学習の双対問題では、カーネル関数 で内積を置き換え、解を求めると非線形サポートベクターマシンが得られます

以上の議論をまとめると、非線形サポートベクターマシンの学習アルゴリズムは以下の通りです：

入力：訓練データセット ここで、、 ；

出力：分離超平面と分類決定関数

（1）適切なカーネル関数 とペナルティパラメータ を選択し、凸二次計画問題を構築して解きます

最適解 を得ます

（2）計算

の1つの成分 を選択して、条件 を満たすようにし、計算します

（3）分類決定関数：

よく使われるカーネル関数——ガウスカーネル関数を紹介します

対応するSVMはガウス放射基底関数分類器で、この場合、分類決定関数は

参考文献

[1]『統計学習方法』 李航

[2]『機械学習』 周志華

[3]Python3『機械学習実践』学習ノート（八）：サポートベクターマシン原理編の線形SVMの実装 Jack - Cui

[4]ラグランジュ乗数法（Lagrange Multiplier）とKKT条件の深い理解

[5]サポートベクターマシンの通俗的な入門（SVMを理解する3つのレベル）

[6]Support Vector Machines for Classification