基于深度学习的图像风格迁移（一）-FlyAI

基于深度学习的图像风格迁移（一）

深度学习

最后更新 2020-11-26 14:34 阅读 4474

最后更新 2020-11-26 14:34

阅读 4474

深度学习

## 介绍
在2015年开启深度学习风格迁移之前，人们就已经尝试使用传统的非参数方法来进行图像风格迁移。

比如基于笔画的方法，这种方法简而言之就是使用通过添加虚拟笔触的方法来赋予图像某种风格，类似于PS中的笔刷功能，除此之外，还有如纹理合成的方法等方法。总的来说，传统方法使用范围有限，只能用在特定的图像上；同时能够迁移的风格也有限，只能迁移某些特定的风格。

在深度学习快速发展的2015年，Gatys等人在论文“A Neural Algorithm og Artistic Style”中提出了基于深度学习的图像风格迁移方法，开启了图像风格迁移的新篇章。利用深度学习的独有特征，在大量数据的驱动下，他们不仅一举解决了传统方法中风格迁移使用范围有限以及效果不稳定的问题，更是将图像风格迁移的效果提升到了一个全新的高度。他们的部分成果图如下：
![](https://dataset.flyai.com/屏幕截图 2020-11-24 104929.jpg)

当然，他们的方法不是完美的，依然有非常多的改进之处。

首要需要改进的是训练时间较长的问题，对于他们的方法，每得到一张风格迁移的图片意味着重新训练一次网络，这个训练的时长随着训练用硬件的不同分布在二十分钟到数百分钟之间。相较于计算机视觉的其他任务，这个时间不算太长，但对于大批量的迁移任务，如一段视频的风格迁移，这个结果仍不能让人满意。

其次是迁移稳定性的问题，虽然相较于传统方法，已经有不小的进步，但是在某些细节处仍有改进的空间。在他们的方法中，需要迁移的图像（内容图像）会因为用来提供风格的图片（风格图片）的笔触而发生大规模的扭曲，以至于无法辨别内容图像的内容特征，完全沦为抽象笔触的组合，如上图中的第六幅，已经完全无法辨别图片中的物体。

为了解决这些问题，改进方法如雨后春笋般被提出。

为了解决图像过度扭曲的问题，有的学者提出了添加制约因子的方法（“Laplacian-Steered Neural Style Transfer ” Shaohua Li, Xinxing Xu, Liqiang Nie, Tat-Seng Chua  2017）：对于人眼，辨识一个物体，物体的轮廓是一个重要的信息，因此如果能最大限度的保留物体的轮廓信息，那么物体过于扭曲以至于无法识别的问题就能得到改善。在传统的计算机视觉中，拉普拉斯算子被用来提取图像的边缘，因此将拉普拉斯算子作为限制因子加入到网络的训练中，能改善迁移得到的图像的品质。效果如下图：
![](https://dataset.flyai.com/屏幕截图 2020-11-24 105056.jpg)

为了解决训练过慢的问题，学者们提出了基于模型的快速风格迁移方法。

在2015首次提出的方法中，有三张图像，一是内容图像、二是风格图像、三是迁移图像。在这篇论文中，执行的过程并非如传统计算机视觉任务中那样的不断更新网络的参数使得最终的输出趋于最优解，而是不断更新迁移图像，使得迁移图像越来越能表达内容图像的内容以及风格图像的风格，也就是在整个过程中，网络的参数没有发生变化，这就是为什么每得到一张迁移后图像需要训练一次的原因——对任意两次风格迁移，并没有任何迁移的信息被保存并让下一次迁移“继承”然后在前一次的基础上加速训练，对于每一次风格迁移都是全新的开始。

快速风格迁移解决的就是这个问题，如果能训练出一个能自动迁移图像的神经网络，那么就不需要每次重新训练了，得到一张迁移图像的时间会大大缩短。随着这个思路，学者提出了基于模型的快速图像风格迁移，在这种思路下，首篇论文（“Perceptual losses for real-time style transfer and super-resolution” Johnson J et al. 2016）就实现了在10秒内实现图像风格迁移，在随后的改进中更是实现了实时视频流的风格迁移。至此，训练时间过长已然不成问题，学者们更为的关注迁移效果，先后提出了单模型单风格（PerStyle-Per-Model）风格迁移网络、单模型多风格（MultipleStyle-Per-Model）风格迁移网络、单模型任意风格（Arbitrary-Style-Per-Model）迁移网络以及多风格混合风格迁移网络。

随着对这项技术的把控能力的逐渐增强，出现了局部风格迁移（“Son of Zorn's Lemma: targeted style transfer using instance-aware semantic segmentation” Castillo C, De S, Han X, et al. 2017），针对图像的某一部分而不是整张图像进行风格迁移，以及剪贴嵌入技术。

本篇内容将会着重介绍开篇之作以及快速风格迁移两方面的内容。

## 开篇之作
### A Neural Algorithm of Artistic Style
15年由Gatys等人提出的基于深度学习的风格迁移方法一举改变了图像风格迁移的研究方向，并将风格迁移效果提升到了一个全新的高度，因此首先应当介绍的当然是这篇文章了。

当利用已有的技术来解决一个问题时，首先应当了解的是为什么这个技术能用于或者说适合于解决这个问题。

Gatys等人利用的是深度神经网络中的卷积神经网络，那么为什么卷积神经网络有利于完成图像风格迁移的任务呢？

对于迁移生成的图像，有两部分的信息需要关注，一个是内容图像的内容信息，二是风格图像的风格信息，因此如果能有效的从内容图像和风格图像中有效的分别提取两种信息并融合在一起，那么就能生成表现比较好的图像。而提取和表达特征，正是卷积神经网络的特长。因此利用卷积神经网络来完成图像风格迁移的任务有其合理性。

当一张图像通过一个训练好的用于识别物体的神经网络时，图像上的特征会被提取出来，这些特征的表达会随着层次的深入而越来越明确。因此高层次的神经网络层会准确的描述图片的特征信息，也就是图片包含的高层次抽象信息，而不再关注每一个像素点的像素值。例如黄色的杯子和白色的杯子都同属于杯子这一类，对于一个用于进行物体分类的神经网络，它的高层次神经网络层更多的关注“杯子”这一个分类，而不是杯子的把手或杯身是什么颜色。经过训练的神经网络能有效提取这种高度抽象的关于图片内容的信息，因此能使用高层次的神经网络层来表达图片的内容。

与内容的表达相反，为了表达风格，更多的关注的是每一个像素点具体的像素值，因此利用低层的神经网络层能较好的保留风格图片的风格。

这么一来，利用一个卷积神经网络就能有效提取出内容图片的内容和风格图片的风格。卷积神经网路每层提取后表现的特征如下：
![](https://dataset.flyai.com/屏幕截图 2020-11-24 110150.jpg)

有了内容和风格的表达方式后，下一步应当考虑的就是如何将这两部分信息有效的结合到一起。卷积神经网络的训练方式提供了一个绝妙的方法——梯度下降法，一步一步逼近最优解。

对于梯度下降法，重要的是设计合理的损失计算公式，怎样的损失计算方法最能代表生成的图像的好坏？

对于这个问题，Gratys等人给出的答案是：利用生成图像和风格图像的格拉姆矩阵差的二范数的平方来定量计算风格差异，用生成图像和内容图像矩阵的差的二范数来定量计算内容差异。由于生成的图像可以更偏向内容或是更偏向风格，因此两种损失的权重不一定为1：1，因此需要给两个损失附上不同的权重来得到损失计算的完整公式，具体公式如下：
![](https://dataset.flyai.com/屏幕截图 2020-11-24 110247.jpg)

利用上述的公式就可以得到评判生成图像好坏的评判标准，当计算得到的损失比较小时，代表生成的图像的质量高，反之质量差。因此只需要通过训练，不断降低损失值，就可以不受内容图像和风格图像类别的限制而得到较好的风格迁移图像，这就是Gatys等人在这篇论文中得到的成果之一，另一个重要成果就是有效的分离了内容和风格的表达。

当然，他们的工作仍有巨大的提升空间，一是生成速度有待提高，二是效果仍需优化。

## 快速风格迁移
### Perceptual Losses for Real-Time Style Transfer and Super-Resolution
Gatys等人在2015年做出的开创性工作，他们的工作验证了利用深度神经网络来完成图像风格迁移，或者换个更普遍的说法——利用深度神经网络来完成纹理迁移具有可行性，并且和传统方法相比具有高效性等诸多优势。

但如在上述中提到的，他们的工作仍具有一定的缺陷和局限性——单张图片的训练时间过程以及生成的图片出现较大的扭曲以至于丢失原本信息等问题。

对于基于深度神经网络的图像风格迁移的发展和改良方向在早期主要集中在加快运行速度——快速风格迁移和改善迁移效果——调整损失函数两个方面。

如何提高迁移速度？

初看这个问题，想必大家首先会想到利用更好的GPU。

因为Gatys等人提出的方法本质上就是深度神经网络的训练过程，只不过和传统用法相比，他们的方法更新的是传入的tensor，而不是网络的参数，从这个角度看利用更好的GPU确实可以在一定程度上提高风格迁移速度，但是如何在相同硬件资源的基础上达到更快更好的效果才应该是我们思考的方向。

那么改善深度神经网络的结构或者直接利用其他深度神经网络来计算损失能否加快迁移速度呢？

首先，Gatys等人的方法有一个很重要的基础，那就是需要有一个预先训练好的深度神经网络来提取特征并计算风格损失以及内容损失，他们使用的是VGG19。那么如果顺着他们的思路做，无论利用什么深度神经网络，首先应当经过了预训练，其次网络结构要比VGG19更高效，其三迁移效果在能接受的范围内。因此，换用网络结构也不是从根本上解决这个问题的思路。

那么还剩下最后一条路，那就是改变风格迁移的方法。

既然Gatys等人的方法迁移速度慢，那么能否依然在深度神经网络这个大框架下，改变实际的操作方法来提高迁移速度呢？

答案毫无疑问是肯定的。Gatys等人的方法为什么慢？因为对于他们的方法，每得到一张迁移图片相当于重新训练了一次。对于他们的方法，网络参数没有发生变化，在这个过程中唯一变化的是迁移后图片每一个像素的像素值在发生变化。如果能改变这个流程，例如得到一个一劳永逸的方法，不需要每次都“重新训练”，那么毫无疑问，风格迁移速度会大大提升，以至于达到实时的效果。

顺着这个思路，在Gatys等人提出基于深度神经网络的风格迁移的第二年，也就是2016年，Justin Johnson等人提出了基于模型的快速风格迁移方案，这个设想使得风格迁移达到了准实时的效果，迁移速度大大提升。

他们的思路很简单，如何才能做到一劳永逸？那就是得到一个能完成风格迁移的深度神经网络，而不仅仅是用来计算损失。

他们一改Gatys等人的迭代更新迁移后图片像素的像素值的方法，转而在损失计算网络的前面追加一个风格迁移网络，实际的训练过程就是在更新这个网络的参数值。

实际流程图如下：
![](https://dataset.flyai.com/屏幕截图 2020-11-24 110819.jpg)
在他们的方法中，原始图片会通过迁移网络，得到的图片即为迁移生成的图片，随后这张图片和风格图片以及内容图片一同被送入损失计算网络，计算得到损失，取得反传梯度更新风格迁移网络，经过迭代生成能稳定表达风格图片风格和内容图片的内容的迁移网络。

通过这种方法，在训练完成后，迁移网络就能将原始图片转换为能稳定表达风格图片风格和内容图片内容的图片。

Justin Johnson等人的成就在于提出了一个完全不同于Gatys等人的风格迁移思路，这个方法在相同硬件，甚至相同效果的条件下能以远快于Gatys等人的方法完成图像风格迁移。

当然他们的方法也不是完美的，Gatys等人的方法在迁移效果上的缺陷，在这个方法中依然存在，其次虽然迁移速度快，但一个迁移网络只能迁移一种风格的图片，如果想得到其他风格图片的风格迁移图片那就需要重新训练一个迁移网络。

在他们的工作之后，针对他们方法中依然存在的缺陷，其他人沿着他们的研究思路提出了多风格快速风格迁移（一个网络能输出一张图片的多张风格迁移图片）、混合风格迁移（一个网络能输出一张图片的基于多张风格图片的混合风格图片）以及局部风格迁移（不同于全局风格迁移，局部风格迁移能只针对原图的局部区域进行风格迁移）

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可，转载请附上原文出处链接和本声明。
本文链接地址：https://flyai.com/article/767

讨论

500字

表情

发送

删除确认

是否删除该条评论？

取消删除