基于解耦网络的无监督实景微光图像增强
深度学习
最后更新 2020-06-15 11:24 阅读 4280
最后更新 2020-06-15 11:24
阅读 4280
深度学习
Unsupervised Real-world Low-light Image Enhancement with Decoupled Networks
Problems
•基于GAN的模型被特别设计来解决光照增强的任务,但在实际的微光图像增强中,他们在两个方面有着共同的局限性:
•1)增强图像的对比度和光照可能不理想,通常会出现颜色失真和不一致;
•2)这些方法主要侧重于光照增强,而没有特别注意噪声抑制。
•结果,重噪声仍然存在,甚至可能在增强图像中被放大
Method
•我们建议将整个无监督增强任务分解为两个子任务:照明增强和噪声抑制。我们提出了一个两阶段的框架来分别处理每一个子任务,利用光照增强中的增强结果来指导空间自适应去噪的学习。
•第一阶段中,在GAN框架下以无监督的方式训练基于Retinex的深度网络,以增强弱光图像的亮度,同时保留上下文细节,并在结果中有效地减轻颜色失真。
•在第二阶段,我们将原始的微光图像、第一阶段的增强图像和指示微光图像的增强照明的照明遮罩作为输入,并在另一个GAN框架下提出了一种基于无监督学习的去噪模型,以去除噪声并生成最终的增强图像。
Contribution
•提出了一种完全无监督的微光图像增强的框架;
•我们通过构造伪三元组来促进去噪模型的无监督学习,并提出了一种自适应的内容损失去噪方法,用于在原始光照条件和增强光照条件下对区域进行去噪;
•我们提供了一个包含可变噪声和良好多样性的未配对微光图像增强数据集,作为对现有微光增强数据集的重要补充。
Dataset
•我们收集了一个无监督的真实世界低光数据集(URL dataset)
•由iPhone-6s拍摄的414个真实世界低光图像和从Adobe Fivek中选择的3837个正常光图像组成
Architecture
Stage I: Illumination Enhancement
Stage I: Loss Functions
Stage II: Noise Suppression
Stage II: Loss Function
Constructing Pseudo Triples
Constructing Pseudo Triples:Loss Function
Content loss on real images
Experiments