Deformable Convolution Networks是MSRA的代季锋和一帮实习生在2017年搞出的一种全新的卷积结构。这种方法将固定形状的卷积过程改造成了能适应物体形状的可变的卷积过程，从而使结构适应物体形变的能力更强。新的结构在PASCAL VOC和COCO数据集上都表现出了不错的成绩。 

 一、Deformable Convolutional Networks要解决的问题 

传统的CNN只能靠一些简单的方法(比如max pooling)来适应物体的形变，如果形变的太厉害就无能为力了。为了改变这种情况专家们想了很多方法，最常见的有两种：

 1、使用大量的数据进行训练。比如用ImageNet数据集，再在其基础上做翻转等变化来扩展数据集，通俗地说就是通过穷举的方法使模型能够适应各种形状的物体，这种方法收敛较慢而且要设计复杂的网络结构才能达到理想的结果；

2、设计一些特殊的算法来适应形变。比如SIFT，目标检测时用滑动窗口法来适应目标在不同位置上的分类也属于这类；

 对第一种方法，如果用训练中没有遇到过的新形状物体(但同属于一类)来做测试，由于新形状没有训练过，会造成测试不准确，而且靠数据集来适应形变的训练过程太耗时，网络结构也必须设计的很复杂；对于第二种方法，如果物体的形状极其复杂，要设计出能适应这种复杂结构的算法就更困难了。 为了解决这个问题，代季锋提出了一种可形变的卷积结构(Deformable Convolution Networks)。它对感受野上的每一个点加一个偏移量，偏移的大小是通过学习得来的，偏移后感受野不再是个正方形，而是和物体的实际形状相匹配。这么做的好处就是无论物体怎么形变，卷积的区域始终覆盖在物体形状的周围。

二、结构 

作者把上述可变形的结构应用到了基本的卷积结构和ROI Pooling中，各自提出了两种全新的结构。

 1、可变形卷积 Deformable Convolution 传统的卷积结构可以定义成公式1，其中pn是卷积输出每一个点相对感受野上的每一个点的偏移量，取整数。

公式2中的x(p0+pn+Δpn)的取值位置非整数，并不对应feature map上实际存在的点，所以必须用插值来得到，如果采用双线性插值的方法，x(p0+pn+Δpn)可以变成公式3。其中x(q)表示feature map上所有整数位置上的点的取值，x(p)=x(p0+pn+Δpn)表示加上偏移后所有小数位置的点的取值。 

2、可变形的ROI Pooling

将可变形的卷积套用到传统的ROI Pooling上可以得到可变形的ROI Pooling的公式7。其中Δpij是每个bin的偏移量，要注意这个偏移量是针对整个bin的，也就是说一个bin中的每一个点该值都相同。

根据原文，这里的过程是：feature map先经过conv层转变成k2个score map，这一步操作使特征图变成了位置敏感的。 这里我发现R-FCN还是MSRA戴老师组的工作。。。 这一步的思想其实就是结合了R-FCN+deformable convolution。 

作者认为可形变卷积的优势还是很大的，包括：

 l 对物体的形变和尺度建模的能力比较强。 

l 感受野比一般卷积大很多，因为有偏移的原因，实际上相关实验已经表明了DNN网络很多时候受感受野不足的条件制约；但是一般的空洞卷积空洞是固定的，对不同的数据集不同情况可能最适合的空洞大小是不同的，但是可形变卷积的偏移是可以根据具体数据的情况进行学习的。

作者：科技猛兽 链接：https://zhuanlan.zhihu.com/p/138020203 来源：知乎