Attention Guided Low-light Image Enhancement with a Large Scale Low-light Simulation Dataset 

Abstract

暗光图像增强需要同时有效地处理颜色、亮度、对比度、伪影和噪声等多种因素。本文提出了一种新颖的注意力引导增强方案，并在此基础上构建了 端到端多分支（multi-branches） CNN。该方法的关键是计算两个注意力图来分别指导曝光增强和去噪任务。第一个注意力图区分曝光不足的区域和光照较好的区域，而第二个注意力图区分噪音和真实纹理。本论文的方法还能增强暗光图像缺失的对比度。论文还提出了一种创建合成暗光图像的数据集的方法。 

Problems

暗光图像质量退化严重，相比正常曝光图像，细节丢失严重，颜色失真，噪点多，对于现实中的高级视觉任务性能有严重影响。基于HE（直方图均衡）的方法和基于RETINEX的传统方法都不能很好地解决暗光增强的问题，而且这些方法常常忽视去噪。

在之前的研究中，有先去噪，再增强的流程；也有先增强，再去噪的流程。但是前者导致图像变得模糊，后者会放大噪点。而本文的方法，将增强和去噪同时进行，能够有效地避免以上问题。

Contribution

• 提出了一种高逼真度的全流水线低光图像仿真方法，并在此基础上建立了一个新的大规模成对低光图像数据集来支持低光增强研究。 

• 提出了一种注意引导的增强方法和相应的多分支网络结构。该方法在曝光不足的注意图和噪声图的指导下，同时有效地实现了微光增强和去噪。 

• 实验结果表明，该方法比现有方法有较大的优越性。

Related work

一些基于HE（直方图均衡）的方法单纯扩大了图片的动态范围，但是并没有考虑光照因素，只是关注图片的对比度，会导致增强过多或者增强不足的问题。 

一些传统的基于RETINEX的方法，依赖人工调整参数，同时噪声处理方面不尽人意。 

一些基于现有深度学习（deep learning）的方法，已经在性能上相比传统方法提升很多，但是很多没有仍旧没有考虑去噪，或者依赖的是传统方法的去噪，这与本文不同，本文特别考虑了去噪这一任务，这是对现有基于深度学习方法的重要补充。 

本文还介绍了一些现今流行的去噪方法，同时指出只有同时进行增强和去噪，才能最好地提升图片质量，避免模糊等情况发生。

Large Scale Low-Light Simulation Dataset 

Candidate Image Selection : Darkness estimation、Blur estimation、Color estimation  

Target Image Synthesis :

Architecture

• Attention-Net
• 输入为原始暗光图像，采用U-Net结构，输出一张ue-attention map（ue：underexposed），其数值越高，代表区域越亮，反之亦然，范围在[0,1]
  

• 论文还指出，ue-attention map实际有点类似RETINEX理论中illumination map，相同的是两者都能指出光照亮度信息。不同的是作者称，反向的ue-attention map的信息质量比illumination map更高，因为illumination map在感知图像中大量黑色的区域会将噪音放大。
  
• Noise-Net
  
• 图像噪点应该是和亮度分布息息相关的，所以注意力机制的ue-attention map可以更好地指导如何进行去噪；同时Noise-Net由dilated convolutional layers（膨胀卷积）构成，增大了感受野，有利于噪声估计。增大感受野，有点类似关注全局content信息。 
• 输入是ue-attention map，输出为noise map
• Enhancement-Net
  
• 实际上这里的Enhancement-Net，与MBLLEN非常相似，毕竟本论文就是MBLLEN的升级版。 
• 部分为论文核心结构，分为特征提取模块FEM（feature extraction module）、增强模块EM（enhancement module） 和 融合模块（fusion module）。 
• 原始暗光图像作为input送入带relu的几个直连conv layers组成的FEM后，得到的特征图与之前得到的ue-attention map，noise-map一同作为输入送进EM模块中；同时上一层得到的特征图，作为下一层的FEM的输入。 
• 另外，每一层的EM模块都不相同，EM-1是一组具有较大核尺寸的卷积/反卷积层；EM-2和EM-3具有类似U-Net的结构，不同之处在于skip connection的实现和特征图的大小；EM-4具有网状结构，论文中去掉了BN批归一化，只使用了几个re块来减少模型参数；EM-5由输出尺寸与输入尺寸相同的膨胀卷积层组成。值得一提的是，EM网络中并不共享网络参数！ 
• 得到多张不同的EM输出最终进入FM层中，在这里所有EM输出在color channel上进行concat，并用1*1的卷积将其进行融合得到对比度未被增强的输出。
  
• Reinforce-Net
  
• 使用膨胀卷积，将Enhancement-Net的输出进行进一步对比度增强，得到最终的增强图像。

Loss Function

Experimental Evaluation

Results