小小程序员
2021-05-14 15:42:53
Log-Cosh損失関数
対数双曲余弦は、L2よりも平滑な損失関数であり、双曲余弦を利用して予測誤差を計算します：
その利点は、非常に小さい誤差についてはlog(cosh(x))が（x**2）/2に非常に近く、非常に大きい誤差についてはabs(x)-log2に非常に近いことです。これは、logcosh損失関数がMSEの利点を持ちながらも、外れ値の影響をあまり受けないことを意味します。それはヒューバー損失のすべての利点を持ち、すべての点で二次微分可能です。二次微分可能は、ニュートン法を使用するXGBoost最適化モデル（ヘッセ行列）など、多くの機械学習モデルで非常に必要です。
しかし、Log-cosh損失は完全ではありません。非常に大きい誤差の場合、勾配とヘッセ行列が定数になってしまいます。
5
item of content
機械学習におけるすべてのアルゴリズムは、最小化または最大化する関数に依存しており、これを「目的関数」と呼びます。最小化される関数のことを「損失関数」と呼びます。損失関数は、予測モデルが期待される結果をどの程度正確に予測できるかを測定する尺度でもあります。関数の最小値を見つける最も一般的な方法は「勾配降下法」です。もし損失関数を連なる山脈に例えるなら、勾配降下法は愚公のように山を削って最低点に到達することを目指します。
損失関数は一種類だけではありません。異常値の存在、選択した機械学習アルゴリズム、勾配降下法の実行時間、予測の信頼度の見つけやすさや導関数の計算の難易度など、さまざまな要素に基づいて異なる損失関数を選択することができます。この記事では、さまざまな損失関数について学び、それらがデータサイエンスおよび機械学習においてどのように私たちを助けてくれるかを解説します。
損失関数は一種類だけではありません。異常値の存在、選択した機械学習アルゴリズム、勾配降下法の実行時間、予測の信頼度の見つけやすさや導関数の計算の難易度など、さまざまな要素に基づいて異なる損失関数を選択することができます。この記事では、さまざまな損失関数について学び、それらがデータサイエンスおよび機械学習においてどのように私たちを助けてくれるかを解説します。
- 966hits
- 0replay
-
1like
- collect
- send report