ヒューバー損失は平方損失に比べて外れ値に対して鈍感ですが、同様に微分可能な特性を保持しています。これは絶対誤差に基づいていますが、誤差が非常に小さいときには平方誤差になります。我々は超パラメータδを使用してこの誤差の閾値を調整することができます。δが0に近づくと、これは平均絶対誤差（MAE）に退化し、δが無限大に近づくと、平均二乗誤差（MSE）に退化します。その式は以下の通りで、連続微分可能な区分関数です。

ヒューバー損失にとって、δの選択は非常に重要で、これがモデルが外れ値を処理する挙動を決定します。残差がδより大きいときはL1損失を使用し、非常に小さいときはより適切なL2損失を使用して最適化を行います。

ヒューバー損失関数はMAEとMSEの欠点を克服しており、損失関数が連続した導関数を持つことを保証するだけでなく、MSEの勾配が誤差とともに減少する特性を利用してより正確な最小値を得ることができ、外れ値に対してもより良いロバスト性を持ちます。

しかし、ヒューバー損失関数の良好な性能は、きめ細かく調整された超パラメータδによるものです。