光流迁移网络FlowNet-FlyAI

光流迁移网络FlowNet

语义分割目标检测

最后更新 2021-06-23 10:59 阅读 2542

最后更新 2021-06-23 10:59

阅读 2542

语义分割目标检测

# FlowNet

首次尝试用CNN直接预测光流，通过全监督学习的方式训练CNN；

output = FlowNet($i_1, i_2;\theta$) 其中，$i_1, i_2$ 为输入的图像对；$\theta$为网络参数；

### 网络结构

#### 全卷积网络 编码模块 + 解码模块 (解码模块又称为细化模块 refineNet)

编码模块：9 个带relu激活的卷积层完成特征提取

解码模块：4个带relu激活的反卷积层完成特征细化

根据图像对输入方式不同，分为FlowNetSimple和FlowNetCorr

##### FlowNetSimple

![](https://dataset.flyai.com/v2-17dbe7dd275b550b4f3d06f17e34b31e_b.jpg)

FlowNetSimple 直接将两张输入图像按照通道维度堆叠作为输入。

##### FlowNetCorr

![](https://dataset.flyai.com/v2-d62a236824233236482abf51d692a103_b.jpg)

FlowNetCorr 为了提升网络的匹配性能，人为模仿匹配过程，设计了”互相关层“，即先对两张输入图像分别提取特征，然后计算两者特征的相关性； 而计算相关性具体实现为在空间维度上进行卷积运算；

![](https://dataset.flyai.com/v2-149cad502f91cc465c60971955e9a28d_b.jpg)

上图为解码模块（细化模块），每个反卷积层不仅输入了上一层的输出，同时还输入了上一层预测的低分辨率光流图，还输入了编码器模块中对应层的特征图；在上采样的过程中，充分结合底层语义信息，弥补在下采样过程中的底层特征损失；

# FlowNet 2.0   参数量162,518,834

对flownet进行增强，付出较小的时间代价，换来性能的较大提升，性能上追平了目前领先的传统方法；

在训练数据上，还使用了3维运动数据库Flying Things 3D 作为数据集进行训练；

flownet中采用的训练策略为 S_short，flownet2中新增训练策略S_long和S_fine；

![](https://dataset.flyai.com/v2-188aff8c3b0eb842a28754c5e1a214aa_b.jpg)

![](https://dataset.flyai.com/v2-078ee9fb9dc00bfa8c8f94d115530ce8_r.jpg)

实验发现，现在FlyingChair上按照S_long策略训练，然后在FlyingThings3D上按照S_fine策略训练的结果最好。作者认为原因可能是，FlyingThings3D相比于FlyingChair更加真实，也更加复杂，直接在更复杂的FlyingThings3D上训练的模型，在性能上也不如现在简单的FlyingChair上训练，然后再在FlyingThings3D上微调的最终结果更好。同时，FlowNetCorr的性能远高于FlowNetS；

#### 实验结论

1. 以FlowNetCorr作为基础网络，在之后堆叠两个FlowNetS网络，结果最好，记为 FlowNet2-CSS；

2. FlowNet2-CSS层数增加，非常重要的时间性能有损，此时按比例缩减通道数来减少计算量；FlowNet2-CSS中每层保留 3/8 的通道数；

3. 小位移的光流结果误差较大。

(1) 将特征提取模块中大小为 7 \* 7 和 5 \* 5 的卷积核换为多层的3 * 3 卷积核以增加对小位移的分辨率；

(2) 在特征细化模块的各个反卷积层之间添加一层卷积层来平滑输出的光流预测；

针对小位移的改进的网络命名为 FlowNet-SD

![](https://dataset.flyai.com/v2-4b4a35c59e92eb63e3eda5b7d758b3fa_b.jpg)

将FlowNet2-SSD 和 FlowNet-SD 的输出结果通过一个整合网络 Fusion 进行整合，输出为最终的光流；整个网络命名为 FlowNet2；类似集成学习；

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可，转载请附上原文出处链接和本声明。
本文链接地址：https://flyai.com/article/925

讨论

500字

表情

每日优质讨论奖励 20FAI

发送

每日优质讨论奖励 20FAI

删除确认

是否删除该条评论？

取消删除