WA_automat

ResNet变体:ResNeXt详解

N 人看过

的结合体,不同于的是,不需要人工设计复杂的结构细节,而是每一个分支都采用相同的拓扑结构。的本质是分组卷积,通过变量基数来控制组的数量。

回顾

的核心在于残差块的设计,残差块用于拟合出一个函数,使得

由于,当时,我们称该层模型为恒等层,一般认为,该层的添加或删除对神经网络的整体没有影响。

但由于深层神经网络难以实现恒等变换(),我们可以使用上述残差块的方式拟合出近似与恒等变换的函数

即,需要利用残差块拟合出一个残差,对模型在恒等变换的进行较小幅度的改动。

介绍

模型中,残差块的设计使用了分组卷积,公式如下:

即:

(左侧为模型结构,右侧为结构)

提出了一种介于普通卷积核深度可分离卷积的这种策略:分组卷积,他通过控制分组的数量(基数)来达到两种策略的平衡。分组卷积的思想是源自,不同于的需要人工设计每个分支,的每个分支的拓扑结构是相同的。最后再结合残差网络,得到的便是最终的

本作品采用 知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议 (CC BY-NC-ND 4.0) 进行许可。