极简随笔之深度残差收缩网络（Deep Residual Shrinkage Network）

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

本文为深度残差收缩网络的极简解读，需要读者有深度残差网络（Deep Residual Network，ResNet）和Squeeze-and-Excitation Network（SENet）的基础知识。

 

深度残差收缩网络，英文名为Deep Residual Shrinkage Network，是ResNet或者说SENet的一种新型改进，发表在1区期刊IEEE Transactions on Industrial Informatics上，面向的是强噪声情况下的分类问题。

 

首先，ResNet的残差模块如图所示：

 

 

然后，相较于ResNet，SENet的残差模块有一点改进：

 

 

最重要的，深度残差收缩网络中的残差模块，将SENet中的“加权”替换成了“软阈值化”：

 

 

最后，深度残差收缩网络的整体网络结构如下图所示：

 

 

M. Zhao, S. Zhong, X. Fu, et al., Deep Residual Shrinkage Networks for Fault Diagnosis, IEEE Transactions on Industrial Informatics, 2019, DOI: 10.1109/TII.2019.2943898 https://ieeexplore.ieee.org/document/8850096