Vision Transformer-FlyAI

Vision Transformer

Attention

最后更新 2022-05-06 20:05 阅读 4705

最后更新 2022-05-06 20:05

阅读 4705

Attention

### Vision Transformer（VIT）

#### Transformer

Transformer提出后，注意力机制广泛应用于自然语言处理的各项任务中，并取得了很好的效果。例如，采用Transformer的Encoder结构的Bert在11项自然语言处理任务中达到SOTA，同时还有采用Decoder结构的GPT系列。相较于RNN缺乏处理一个句子中较远距离的两个`token`，注意力机制能够更有效地进行全局建模以及高效的并行训练。

Transformer的结构如下所示，包含`N个Encoder和N个Decoder`。每个Encoder包含一个多头注意力层和一个前馈神经网络层，Decoder相较于Encoder多了一个多头注意力层用来进行Encoder的输出和Decoder的输入的交互。
![Transformer architecture](https://dataset.flyai.com/截屏2022-03-07 下午12.36.54.png "Transformer architecture")

#### 注意力机制

注意力机制的表达式如下所示：
$$ Attention(Q,K,V)=softmax(\frac{QK^T}{\sqrt{d_k}})V $$
在自注意力机制中，Q，K，V是相同的，Q表示query，K表示key，V表示value，$$d_k$$是Q的维度，softmax的输出是注意力分数。

例如，在不考虑batch的情况下，一个句子包含`n个token`，词嵌入维度为$$d_k$$，经过词嵌入后改句子的shape为 $$(n, d_k)$$，即`Q，K，V`为$$(n,d_k)$$的张量。$$QK^T$$后的shape为$$(n, n)$$，经过softmax和scale后不改变张量的shape，因此$$softmax(\frac{QK^T}{\sqrt{d_k}})V$$的shape为$$(n, d_k)$$。即经过Attention层后，输入和输出的shape保持一致。

#### VIT

自AlexNet后，CNN已在计算机视觉领域流行了数十年，Transformer在自然语言处理方向的流行使得大家开始想要将Attention机制应用到CV中。在VIT之前，已经有部分工作尝试使用Attention改进CNN的网络结构，并且取得了不错的效果。

对于一个图像而言，即使是中等分辨率，包含的像素数量也是非常多的，因此采用像素点为单位进行建模在Transformer中是行不通的。VIT采用的方式是将一张图像分成`16*16个patch`，每个`patch`相当于nlp中的一个`token`，然后进行嵌入得到图像的向量表示。

得到嵌入的向量后的处理便和nlp没有什么区别了，VIT采用的是Transformer的编码器结构（如下图所示）。这里需要注意一点，在VIT中，除了图像划分后得到的`16*16个patch`以外，前面还有一个分类用的patch，因此共有`16*16+1个patch`。经过嵌入层后的输出的shape为`(257, 784)`，而后是`L个Encoder`，每一层的输出保持shape不变。最后一层Encoder的输出只取出Class的结果，然后将其放到一个多层感知机进行分类。
![VIT architecture](https://dataset.flyai.com/截屏2022-03-07 下午1.13.05.png "VIT architecture")

VIT在中等数据集上训练并没有相同参数量的ResNet的表现好，但在经过大型数据集预训练后，VIT在大中型数据集上均达到了SOTA。这一点充分说明了Transformer经过预训练后可以有效地处理视觉方向的任务。作者也在原文中提到，VIT需要在大型数据集上进行预训练才能达到较好的效果是因为相较于CNN来说Transformer缺少归纳偏置，因此需要在大规模的数据集上学习来得到归纳偏置的能力。

VIT相较于之前的工作而言，完全抛弃了CNN的结构，使用Pure Transformer进行分类任务。简单来看这项工作可能只是将Transformer原封不动的搬运到图像分类上，但实际上VIT更可以说是尝试打通了NLP和CV的通道，证明了使用同样的模型既可以处理语言又能够处理图像，相当于挖了一个多模态的大坑（从2021年多模态领域的顶刊论文可能看出这一点）。

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可，转载请附上原文出处链接和本声明。
本文链接地址：https://flyai.com/article/998

讨论

500字

表情

发送

删除确认

是否删除该条评论？

取消删除