VGGNet

论文： VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION

本文仅记录个人阅读论文的收获和思考。

INTRODUCTION

论文主要探究深度对卷积神经网络的影响.

CONVNET CONFIGURATIONS

1

VGG用多层3*3的最小kernel, 单纯从卷积计算的角度来看, 多个卷积层的叠加意义不大(两层3*3相当于一层5*5, 以此类推).

用多个最小的卷积层的意义, 一是中间可以穿插非线性激活函数层, 另一个是减少参数.

2

1*1的卷积层, 相当于做了一次线性变换和非线性激活.

似乎在 Network In Network 论文中提到.

CLASSIFICATION FRAMEWORK

1

用到的技术:

• 小批量梯度下降, momentum 0.9
• $L_2$权重衰减
• dropout
• 动态调整学习率

2

为了获得合适的初始权重, 先训练简单的模型, 然后用其参数作为初始权重.

3

训练时网络输入图片的尺寸为224*224， 但对图片的裁剪的尺寸S不小于224， 从而由一张图片产生多个输入数据， 类似AlexNet论文中的数据增强。

同时， S 可以根据需要动态调整。 一般来说是先小后大。

4

测试阶段用全连接卷积层代替全连接线性层， 如此以来输入图片的尺寸则不必与训练过程相同。

结果得到1000张特征图， 对其进行平均池化得到对应分数。

CLASSIFICATION EXPERIMENTS

1

先对小规模网络进行训练， 修正其中问题（去除LRU层）， 然后再加深层数。

2

通过对比（将两个3*3卷积层替换为一个5*5卷积层）， 证明加深层数确实能提高准确率。