深度残差ネットワーク（Deep Residual Network, ResNet）は非常に成功した深層学習手法であり、2015年末にarXiv上で公開されて以来、Google Scholar上の引用回数はすでに3万回に近づいています。深度残差収縮ネットワークはResNetの新しい改良版であり、この記事では後述して具体的に紹介します。

まず、深度残差ネットワークの核心的な貢献は、恒等写像、つまり下図のIdentity shortcutを導入したことです。通常の畳み込みニューラルネットワークには層をまたぐ恒等写像はありません。より具体的には、下図の(a)-(c)は3種類の残差モジュール（residual building unit, RBU）を示しており、各残差モジュールには恒等写像が含まれています。図(a)では、入力特徴マップと出力特徴マップのサイズは同じです。図(b)と(c)では、出力特徴マップのサイズは入力特徴マップと異なります。深度残差ネットワークの全体構造は図(d)の通りです。深度残差ネットワークの主体部分は、多数の残差モジュールが積み重ねられて構成されていることがわかります。

ソフトしきい値化としきい値の要件

通常、サンプルにノイズやラベルと関係のない冗長情報が含まれていると、深層学習アルゴリズムの効果が低下します。では、この問題をどう解決するのでしょうか？深度残差収縮ネットワークは解決策を提示しています。

深度残差収縮ネットワークの主な仕事の1つは、残差モジュールにソフトしきい値化を追加し、非線形変換とすることです。下図(a)のように、ソフトしきい値化はあるしきい値より絶対値が小さい特徴を直接0に設定します。その他の特徴は、0の方向に一定程度「収縮」させます。これが深度残差収縮ネットワークの名称の由来です。

図(b)では、著者はソフトしきい値化関数の勾配特性をさらに分析しています。勾配値は0または1です。ReLU活性化関数と同様に、この特性により、深層学習の学習時に「勾配消失」や「勾配爆発」に遭遇するリスクが軽減されます。

また、しきい値の値はいくつかの条件を満たす必要があります。第一に、しきい値は正数です。第二に、しきい値は大きすぎてはいけません。入力特徴の値がすべて-1と1の間であると仮定すると、しきい値が10の場合、出力はすべて0になります。第三に、各サンプルは自身のノイズ量に基づいて独自のしきい値を決定する必要があります。つまり、サンプル間で異なるしきい値設定が必要です。

深度残差収縮ネットワークのネットワーク構造

深度残差収縮ネットワークの残差モジュールには、ソフトしきい値化関数で使用するしきい値を自動的に設定するためのサブモジュール（Squeeze-and-Excitation Networksに似たもの）が埋め込まれています。図(a)では、全体の特徴マップで1つのしきい値を共有しています。図(c)では、特徴マップの各チャネルに独立したしきい値があります。同時に、図(b)と図(d)は2種類の深度残差収縮ネットワーク（DRSN-CSとDRSN-CW）の全体構造を示しています。それらの全体構造は実際には同じで、唯一の違いは残差モジュールの違いであることがわかります。

このネットワーク構造では、得られるしきい値は正数であり、かつ値が大きすぎることはありません（すべての出力が0になることはありません）。また、各サンプルのしきい値は自身の特徴マップに基づいて決定されるため、各サンプルには独自のしきい値セットがあります。これにより、上記のしきい値に関する3つの条件が満たされます。

原文のURL：
https://my.oschina.net/u/4223274/blog/3113022

M. Zhao, S. Zhong, X. Fu, B. Tang, M. Pecht, Deep Residual Shrinkage Networks for Fault Diagnosis, IEEE Transactions on Industrial Informatics, 2019, DOI: 10.1109/TII.2019.2943898