图像识别-经典网络AlexNet解析-FlyAI

图像识别-经典网络AlexNet解析

深度学习图像分类 CNN

最后更新 2020-05-22 11:18 阅读 5459

最后更新 2020-05-22 11:18

阅读 5459

深度学习图像分类 CNN

## 图像识别-经典网络AlexNet解析

**一、网络简介
二、网络结构
三、网络创新点**

### 一、网络简介

AlexNet网络，图像识别领域的经典网络。2012年，该网络获得ImageNet竞赛冠军，作者是知名学者Hinton和他的学生Alex Krizhevsky。在那年之后，更多的更深的神经网路被提出，比如优秀的Vggnet,GoogLeNet。其官方提供的数据模型，准确率达到57.1%,top 1-5 达到80.2%。在那时，其效果相比于传统的机器学习分类算法而言，已经相当的出色。

论文题目：

《ImageNet Classification with Deep onvolutional Neural Networks》

### 二、网络结构

![](https://dataset.flyai.com/1.png)

上图所示是caffe中alexnet的网络结构，采用是两台GPU服务器，所有会看到两个流程图。

AlexNet的网络模型解读如下表：

![](https://dataset.flyai.com/2.png)

网络结构解读如下：

```python
第一层：卷积层1，输入为 224×224×3 224 \times 224 \times 3224×224×3的图像，卷积核的数量为96，论文中两片GPU分别计算48个核; 卷积核的大小为 11×11×3 11 \times 11 \times 311×11×3; stride = 4, stride表示的是步长， pad = 0, 表示不扩充边缘;
卷积后的图形大小是怎样的呢？
wide = (224 + 2 * padding - kernel_size) / stride + 1 = 54
height = (224 + 2 * padding - kernel_size) / stride + 1 = 54
dimention = 96
然后进行 (Local Response Normalized), 后面跟着池化pool_size = (3, 3), stride = 2, pad = 0 最终获得第一层卷积的feature map
最终第一层卷积的输出为

第二层：卷积层2, 输入为上一层卷积的feature map， 卷积的个数为256个，论文中的两个GPU分别有128个卷积核。卷积核的大小为：5×5×48 5 \times 5 \times 485×5×48; pad = 2, stride = 1; 然后做 LRN， 最后 max_pooling, pool_size = (3, 3), stride = 2;

第三层：卷积3, 输入为第二层的输出，卷积核个数为384, kernel_size = (3×3×256 3 \times 3 \times 2563×3×256)， padding = 1, 第三层没有做LRN和Pool

第四层：卷积4, 输入为第三层的输出，卷积核个数为384, kernel_size = (3×3 3 \times 33×3), padding = 1, 和第三层一样，没有LRN和Pool

第五层：卷积5, 输入为第四层的输出，卷积核个数为256, kernel_size = (3×3 3 \times 33×3), padding = 1。然后直接进行max_pooling, pool_size = (3, 3), stride = 2;

第6,7,8层是全连接层，每一层的神经元的个数为4096，最终输出softmax为1000,因为上面介绍过，ImageNet这个比赛的分类个数为1000。全连接层中使用了RELU和Dropout。

```
### 三、网络创新点

（1）成功使用ReLU作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题。虽然ReLU激活函数在很久之前就被提出了，但是直到AlexNet的出现才将其发扬光大。

（2）训练时使用Dropout随机忽略一部分神经元，以避免模型过拟合。Dropout虽有单独的论文论述，但是AlexNet将其实用化，通过实践证实了它的效果。在AlexNet中主要是最后几个全连接层使用了Dropout。

（3）在CNN中使用重叠的最大池化。此前CNN中普遍使用平均池化，AlexNet全部使用最大池化，避免平均池化的模糊化效果。并且AlexNet中提出让步长比池化核的尺寸小，这样池化层的输出之间会有重叠和覆盖，提升了特征的丰富性。

（4）提出了LRN层，对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。

（5）多GPU训练,可以增大网络训练规模.

（6）百万级ImageNet数据图像输入.在AlexNet用到的Data Augmentation方式有三种:

- 平移变换(crop);
- 反射变换(flip);
- 光照和彩色变换(color jittering):先对图片进行随机平移,然后水平翻转.测试时,先对左上,右上,左下,右下和中间做5次平移变换,然后翻转之后对结果求平均.

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可，转载请附上原文出处链接和本声明。
本文链接地址：https://flyai.com/article/496

讨论

500字

表情

发送

删除确认

是否删除该条评论？

取消删除