心中无码便是高清，马赛克“脑补”算法 PULSE-FlyAI

心中无码便是高清，马赛克“脑补”算法 PULSE

深度学习人脸识别数据分析

最后更新 2020-07-03 17:32 阅读 22665

最后更新 2020-07-03 17:32

阅读 22665

深度学习人脸识别数据分析

## 一、万恶马赛克
万恶的马赛克，是阻碍人类进步的绊脚石。
马赛克“脑补”算法 PULSE，助你图片**模糊**变**高清**。
![](https://cuijiahua.com/wp-content/uploads/2020/07/dl-21-1-1-768x260.png)
 这是杜克大学近期的一项研究，将模糊人脸秒变高清。
![](https://cuijiahua.com/wp-content/uploads/2020/07/dl-21-2-1.gif)
PULSE 算法目前只支持人脸的马赛克“去除”，因为训练数据都是人脸。

也就是说，“脑补”其它物体马赛克下的内容也是可以的，只要你有数据！

我知道，你一定又有了一些大胆的想法！

「 Just do it 」 !
![](https://cuijiahua.com/wp-content/uploads/2020/07/dl-21-2.jpg)
今天，继续手把手教学。

算法原理、环境搭建、效果测试，一条龙服务，尽在下文！

## 二、算法原理
PULSE 算法可以在几秒内，将 16x16 像素的低分辨率（Low Resolution，以下简称 LR）小图，放大 64 倍，变成 1024 x 1024 像素的高分辨率（High Resolution，以下简称 HR）图像。

PULSE 算法会「脑补」出 LR 图像一些不存在的特征，补充细节，例如纹理、毛孔、毛发等：
![](https://cuijiahua.com/wp-content/uploads/2020/07/dl-21-3-768x381.jpg)
左图为原始 LR 图片，右图为 PULSE 算法生成的 HR 图片。

PULSE 算法的思路是，拿到一张 LR 图片，使用 stylegan 生成 HR 图片，再将 HR 图片 downscale 得到的 LR 图片与原始 LR 图片对比，一直迭代收敛，找到最接近的那张。如下图所示：
![](https://cuijiahua.com/wp-content/uploads/2020/07/dl-21-4-674x1024.png)
原始 LR 图片和 PULSE 修复后再 donwscale 的 LR 图片对，使两者最接近的 HR 图片，就是修复得到的 HR 图片。

该算法在著名的高分辨率人脸数据集 CelebA HQ 上进行了效果评估，用 64×，32× 和 8× 的比例因子，采用不同的算法，进行了对比实验。

实验表明，PULSE 算法的效果最佳，得分几乎与真实的高质量照片一样高。

![](https://cuijiahua.com/wp-content/uploads/2020/07/dl-21-5.png)
通过上图，可以清晰地看到，PULSE 算法在人脸不同位置的纹理细节。

不过 PULSE 算法也有一定的局限性，它无法将失焦、不能识别的人脸照片，变成照片真人的清晰图像，它仅会生成不存在但看上去很真实的新面孔。

说白了，PULSE 生成的高清图片，是「脑补」出来的，与真实的人脸照片可能存在差别。

##三、环境搭建
PULSE 算法采用 Pytorch 实现，使用了 dlib 人脸库的一些 API。

项目地址：https://github.com/adamian98/pulse

环境搭建不复杂，工程里的 pulse.yml 文件，已经写明了依赖环境。
```python
name: pulse
channels:
  - pytorch
  - defaults
dependencies:
  - blas=1.0=mkl
  - ca-certificates=2020.1.1=0
  - certifi=2020.4.5.1=py38_0
  - cffi=1.14.0=py38hc512035_1
  - chardet=3.0.4=py38_1003
  - cryptography=2.9.2=py38ha12b0ac_0
  - cycler=0.10.0=py38_0
  - freetype=2.9.1=hb4e5f40_0
  - idna=2.9=py_1
  - intel-openmp=2019.4=233
  - jpeg=9b=he5867d9_2
  - kiwisolver=1.2.0=py38h04f5b5a_0
  - libcxx=10.0.0=1
  - libedit=3.1.20181209=hb402a30_0
  - libffi=3.3=h0a44026_1
  - libgfortran=3.0.1=h93005f0_2
  - libpng=1.6.37=ha441bb4_0
  - libtiff=4.1.0=hcb84e12_0
  - matplotlib=3.1.3=py38_0
  - matplotlib-base=3.1.3=py38h9aa3819_0
  - mkl=2019.4=233
  - mkl-service=2.3.0=py38hfbe908c_0
  - mkl_fft=1.0.15=py38h5e564d8_0
  - mkl_random=1.1.0=py38h6440ff4_0
  - ncurses=6.2=h0a44026_1
  - ninja=1.9.0=py38h04f5b5a_0
  - numpy=1.18.1=py38h7241aed_0
  - numpy-base=1.18.1=py38h6575580_1
  - olefile=0.46=py_0
  - openssl=1.1.1g=h1de35cc_0
  - pandas=1.0.3=py38h6c726b0_0
  - pillow=7.1.2=py38h4655f20_0
  - pip=20.0.2=py38_3
  - pycparser=2.20=py_0
  - pyopenssl=19.1.0=py38_0
  - pyparsing=2.4.7=py_0
  - pysocks=1.7.1=py38_0
  - python=3.8.2=hf48f09d_13
  - python-dateutil=2.8.1=py_0
  - pytorch=1.5.0=py3.8_0
  - pytz=2020.1=py_0
  - readline=8.0=h1de35cc_0
  - requests=2.23.0=py38_0
  - scipy=1.4.1=py38h44e99c9_0
  - setuptools=46.2.0=py38_0
  - six=1.14.0=py38_0
  - sqlite=3.31.1=h5c1f38d_1
  - tk=8.6.8=ha441bb4_0
  - torchvision=0.6.0=py38_cpu
  - tornado=6.0.4=py38h1de35cc_1
  - urllib3=1.25.8=py38_0
  - wheel=0.34.2=py38_0
  - xz=5.2.5=h1de35cc_0
  - zlib=1.2.11=h1de35cc_3
  - zstd=1.3.7=h5bba6e5_0
  - pip:
    - dlib==19.19.0
prefix: /path/to/your/anaconda3/envs/pulse
```
直接使用 pulse.yml 文件，用 Anaconda 进行环境配置。

修改 pulse.yml 文件中 prefix 的路径为你的 Anaconda 路径，然后使用指令创建环境：
```python
conda create -f pulse.yml
```
这是官方推荐的方法。亲测，依然遇到了一些依赖问题。

最后一个一个依赖包安装才解决，所以我建议是使用 Anaconda 通过第三方库的包名安装，不用管版本啥的，例如：
```python
conda install ca-certificates requests
```
libcxx、libedit 等这类的 lib 库不用安装，Anaconda 在创建 Python 环境的时候已经安装好了。

这里面稍微难安装的就是 dlib，dlib 需要使用 cmake 进行编译，所以需要先安装好 cmake，这里使用 pip 安装即可：
```python
python -m pip install cmake dlib
```
都搞定了，环境就算搭建完成了。

##四、效果测试
PULSE 项目地址：https://github.com/adamian98/pulse

下载项目到本地：```python
git clone https://github.com/adamian98/pulse
```
项目提供了 pretrained model ，模型放在了 Google Drive ，不能翻墙的无法下载。

所以我将模型下载好，上传到了我的百度网盘。

下载地址（提取码：3gpq）：

https://pan.baidu.com/s/13NZ8RY8KSogY78xh3gpcJA

在工程目录，创建 cache、realpics 两个文件夹，将下载好的三个文件放到 cache 文件夹内。

然后将下图放到 realpics 文件夹内，我们以此图为例，进行测试。
![](https://cuijiahua.com/wp-content/uploads/2020/07/dl-21-6-300x300.jpg)
图片下载地址：https://cuijiahua.com/wp-content/uploads/2020/07/dl-21-6.jpg

首先，我们使用 align_face.py 对图片 downscale。
python align_face.py
程序使用 dlib 检测人脸框，并对检测到的人脸进行降低分辨率处理，默认降低为 32x32 分辨率的图片。
生成的图片会放到 input 文件夹内，如果将图片放大到 1024x1024，就是相当于一张布满马赛克的图片。
![](https://cuijiahua.com/wp-content/uploads/2020/07/dl-21-7-300x300.png)
有了这张 LR 图片，也就是低分辨率图片，使用 PULSE 算法，看下「脑补」效果吧！
python run.py -steps=2000
运行 run.py ，迭代 2000 steps，在 runs 文件夹下就会生成“去除”马赛克后的「脑补」图。
![](https://cuijiahua.com/wp-content/uploads/2020/07/dl-21-8.jpg)
「脑补」图跟原图还是有些神似的！

##五、争议
我们都知道，今年 5 月 25 日美国的「跪杀黑人」事件。
![](https://cuijiahua.com/wp-content/uploads/2020/07/dl-21-9-173x300.jpg)
由此引发了美国有史以来，最大规模的游行抗议。
![](https://cuijiahua.com/wp-content/uploads/2020/07/dl-21-10-768x481.png)
6 月份，吃“美国瓜”的人应该不在少数，比如我就在 YouTube 上吃了一个月的瓜。

每个国家都有自己的敏感话题。

而美国，现在的敏感话题就是「种族歧视」。

PULSE 算法惹了大麻烦。

PULSE 采用 CelebA-HQ 训练的模型，数据集都是白人，因此算法「脑补」出的也都是白人脸。

这在如今高喊「黑命贵」的美国，无疑是一股扎眼的“逆流”。

有网友就拿奥巴马的低分辨率照片进行测试，结果生成的都是白人男性，更加坐实了 PULSE 算法的「种族歧视」罪名。
![](https://cuijiahua.com/wp-content/uploads/2020/07/dl-21-11-768x649.png)
PULSE 算法，以及相关的研究人员，因此被打上了「种族偏见」的标签。

甚至深度学习领军人物 LeCun 因为替 PULSE 说话，也不幸躺枪。

我倒是在想，以后美国科研的数据集是不是也得像美国电影一样，一部剧必须得有黑人演员才行，否则就算「政治不正确」。

扛着「政治正确」大旗的人们“口诛笔伐”异己，欲加之罪，何患无辞。

技术，有罪吗？
六、最后
PULSE 算法对于非数据集的数据，「脑补」效果一般。
想用 PULSE 算法，“去除”人脸以外的马赛克图，需要建立数据集，重新训练模型。

本文原创作者：https://cuijiahua.com/blog/2020/07/dl-21.html

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可，转载请附上原文出处链接和本声明。
本文链接地址：https://flyai.com/article/596

讨论

500字

表情

发送

删除确认

是否删除该条评论？

取消删除