参考近百篇文献，“图像着色”最全综述

最近一段时间，修复百年前的老照片引起了大众广泛的兴趣，这些老照片往往都是黑白的，而给它们上色是修复的重要一环。

其实图像着色（Image colorization）不仅仅用于对老照片的处理，在深度图像、红外图像可视化等领域也有着广泛应用。尤其是近年来深度学习的发展，极大促进了该领域的发展，但对相关技术和应用的总结却几乎没有。

近日，来自澳大利亚国立大学等的学者发布了一篇论文 Image Colorization: A Survey and Dataset，参考了近百篇文献，对该问题进行了综述，推出了新的数据集，进行了极具参考价值的总结。

作者 | Saeed Anwar, Muhammad Tahir, Chongyi Li, Ajmal Mian, Fahad Shahbaz Khan, Abdul Wahab Muzaffar

单位 | 澳大利亚国立大学等

论文 | https://arxiv.org/abs/2008.10774

代码&数据集 | https://github.com/saeed-anwar/ColorSurvey（尚未开源）

该文贡献：

1、对图像着色技术进行了全面回顾，包括问题设置、性能指标和数据集；

2、引入了一个新的基准数据集，命名为 Natural Color Dataset（NCD），专门为着色任务收集；

3、对NCD数据集上的最新模型进行了系统的评估；

4、根据领域类型、网络结构、辅助输入和最终输出的差异，提出了新的着色网络分类法；

5、总结了网络的重要组成部分，提供了新的见解，讨论了图像着色的挑战和未来可能的方向。

图像着色的目的即给定一幅灰度图像，将其转化为RGB彩色图像。但如果在YUV色彩空间处理更方便，因为在YUV空间，Y代表灰度，故典型的着色算法预测像素UV值即可。

主要技术分类

作者参考了大量文献，对图像着色技术进行了分类：（请点击查看大图）

作者根据网络结构、输入数据、应用领域、技术特点等对改领域进行了分类。

平白网络（Plain networks） 即网络结构不含有skip层的传统卷积网络结构算法。

User-Guided networks 为需要在网络特定层由用户输入颜色值的网络。

特定领域着色网络（Domain-Specific Colorization networks）即针对特定领域图像，比如近红外图像、合成孔径雷达、雷达、骨架图进行着色。

基于文本的着色网络（Text-based colorization networks）即根据本文描述输入的对图像着色。

多样化着色网络（Diverse colorization networks）即不是恢复图像原始色彩，而是生成不同的着色图像。

多通道网络（multi-path networks）即在不同网络路径中学习不同的特征的网络。

基于样例的着色网络（Examplar-based colorization networks）即在着色时由用户给定一幅参考学习样例。

常用数据集

• COCO-stuff dataset

• PASCAL VOC dataset

• CIFAR datasets

• ImageNet ILSVRC2012

• Palette-and-Text dataset

作者提出的NCD数据集图像样例

可见这些数据集大多是从知名的较大规模数据集制作得来。

评估标准

PSNR 与SSIM，另外作者指出该领域的金标准是用户的主观评价。

另外，作者也指出该领域目前的一些限制：

• 缺少精确的度量标准

• 缺少benchmark数据集

• 缺少相关技术竞赛

• 缺少开源代码

更详细的内容，请查看原论文。

论文下载：

在“OpenCV中文网”公众号后台回复“着色综述”，即可收到完整论文下载。

备注：增强

图像增强与质量评价交流群

图像增强、着色、去雾、去雨、图像修补、图像恢复等技术，

若已为CV君其他账号好友请直接私信。

OpenCV中文网

微信号 : iopencv

QQ群：805388940

微博/知乎：@我爱计算机视觉

投稿：amos@52cv.net

网站：www.52cv.net

在看，让更多人看到