经典CNN

LENET-5

rOADZ.png

AlexNet

rODRt.png

VGGNet

计算量非常大

GoogleNet

同一层用不同尺寸的卷积核：Inception

rOW1P.png

ResNet(深度残差网络)

当深度到达22层以后，再堆叠更多的层数，模型性能反而会下降，因为太多层的堆叠经常会使得误差积累导致梯度离散。

ResNet：卷积层之间加一个shortcut

rOpdA.png

假设传统神经网络输入为x，输出为F(X),则需要学习的就是F(X)这个函数映射。

而对于ResNet，输入为x，输出为H(X)=F(X)+X，我们需要学习的是F(X=)H(X)-X这样输入与输出差别，即残差。

常用的ResNet unit：

rOwbW.png

第一层和第三层使用1x1的卷积核能极大的减少参数量。