AI Technology Community
小小程序员
2021-05-15 22:30:03
凸関数(convex function)
ある種の関数で、関数グラフの上の領域が凸集合となるものです。典型的な凸関数の形状は、文字 U に似ています。例えば、以下はすべて凸関数です:
逆に、以下の関数は凸関数ではありません。グラフの上方の領域が凸集合でないことに注意してください:
厳密凸関数は局所的な最小値を1つだけ持ち、その点は同時にグローバルな最小値でもあります。典型的な U 字形の関数はすべて厳密凸関数です。ただし、直線のような一部の凸関数はそうではありません。
多くの一般的な損失関数(以下の関数を含む)は凸関数です:
L2 損失関数
対数損失関数
L1 正則化
L2 正則化
勾配降下法の多くの変種は、厳密凸関数の最小値に近い点を必ず見つけることができます。同様に、確率的勾配降下法の多くの変種は、厳密凸関数の最小値に近い点を見つける可能性が高いです(ただし、必ず見つけるとは限りません)。
2つの凸関数の和(例えば L2 損失関数 + L1 正則化)も凸関数です。
深度モデルは決して凸関数にはなりません。注目すべきは、凸最適化用に特別に設計されたアルゴリズムは、深度ネットワークで非常に良い解を見つけることが多いですが、これらの解が必ずしもグローバルな最小値に対応するわけではありません。
171
item of content
機械学習は多分野にまたがる学問であり、確率論、統計学、近似理論および複雑なアルゴリズムに関する知識を包含しています。コンピュータをツールとして用い、人間の学習方法をリアルタイムで模倣することを目指すとともに、既存の内容を知識構造に分類して学習効率を効果的に向上させることを目指しています。
- 367hits
- 0replay
-
0like
- collect
- send report