谷雨纪事：深度学习理解遥感图像 | PaddlePaddle与中科院遥感地球所联手保护土地资源

高尔夫球场，长期以来的高端社交地，但其存在的背后，却是对资源环境的侵袭。不仅大量占用土地资源、耗费水资源，而且在维护草坪的时候大量使用化肥农药，会造成严重污染。

有多严重呢？

曾任江苏省副省长的徐鸣此前接受《中国经济周刊》专访给出了一个对比：

“一个高尔夫球场的污染比一座普通工厂的污染还要严重。”

从2004年开始，有关部门就开始出台一系列政策限制球场建设，并在2017年前后开展了专项清理整治。

但整治效果该如何核查？

球场相对分散，且占地面积比较大， 通过遥感图像来检测，是较优方案，高分辨率光学遥感影像的普及也为场检测提供了有力数据支持。

哪怕这些数据都有，检测起来却不容易。

下面就是一张遥感图像，忽略绿框，你能发现其中的高尔夫球场有多少，都在哪吗？

一个熟练解译人员从这样的遥感图像中检测出来所有的高尔夫球场，需要15分钟左右。

而现在，深度学习技术改变了这项工作的面貌。

只需10秒，就能够在这样的图中，自动检测出高尔夫球场。

相比之下，效率提高90倍。识别的准确度也达到了84%。

这并不是个案特例，而是整个应用方向的集体提升，正切切实实发生在中科院遥感地球所。

这一跃迁是怎么发生的？又是一个怎样的过程？

AI在图像识别领域中已经颇有建树许多年，为什么到现在能力才体现出来？

想要回答这些问题，需要先回答——

为什么原来处理遥感图像很慢？

利用遥感图像监测地表，是一个持续的过程。中科院遥感地球所研究人员说，其中最大的难点就在于，同一个地方的环境和气候，每年都会发生变化。这会对理解遥感图像的算法造成极大的影响。

最直接的体现就是，原本针对这些地方构建的算法，过了一年之后，就要有针对性地调优，适应这些变化，不然就会“罢工”。而且， 这些算法都与人的经验有很强的关联性，如果设计算法的人离职，整个算法就难以为继了。

需要注意的是，这些算法并不是自动化的，仍旧需要人工去配合。中国960万平方公里，想要完成一遍，至少需要千余人集中工作2到3个月。

怎么办？可以用深度学习。现在，遥感所是这样做的：

• 针对一个地方构建样本库，然后基于样本库中的图像训练深度学习模型。

• 第二年，这一地方的环境和气候发生变化，只需要把新的图像加进样本库，然后重新把模型训练一遍就可以了。

• 同时，这样也能够减少对人的依赖，模型的调整不再受限于专家经验，而是依靠数据的变化。

而且，数据越来越多，也不再是累赘，而是提高模型精度的“养料”。

虽然现在看来，这一切都很高效且非常简单。但在从传统的人工+算法模式到现在深度学习的模式切换中，还经历了不少困难。

用AI理解遥感图像，有什么难的？

图像识别，可以说是当前AI领域比较成熟的技术了，各种用于图像理解的深度学习模型层出不穷，而且在特定领域已达到了人类同等水准。

但问题在于，这些深度模型，主要是针对自然图像的，如果直接用于理解遥感图像效果就会大打折扣。因为这两类图像之间有很大的差别。

首先，遥感图像波段比较多，除了自然图像的RGB三个波段之外，遥感图像至少还要多出一个近红外波段，一些卫星获取的遥感影像有8个波段，高光谱图像甚至有多达200多个波段。

其次，图像的尺度差异也非常大，与自然图像中利用尺度金字塔进行多尺度的识别相比，遥感图像的尺度差异甚至要达到1：30 以上，才能较好地识别各个目标地物。

第三，有局部空间特征失真的问题。自然图像的失真，主要是因为传感器的边缘失真和镜头失真，整体是可控的。但遥感图像成像的失真，是由于在图像获取中的误差产生的，相对来说是不可控的。

这些问题的存在，让现有的深度学习算法很难直接应用到遥感图像理解任务中。不仅模型需要进一步优化，还需要框架提供支持：不仅要在遥感影像读入方面提供多波段的支持，还需要添加针对遥感影像的图像增强算法，考虑到多波段的颜色增强，以及局部空间特征变形增强等等方面。

这些，正是百度在其深度学习框架PaddlePaddle中所做的事情，借助这一框架，中科院遥感地球所，也正在完成一轮新的技术迭代。

应用正越来越广泛。

具体到我们一开始提到的高尔夫球场识别问题，中科院遥感所的研究人员借助PaddlePaddle框架的支持，使用了Faster R-CNN目标检测模型。

在专业、标准的高尔夫球场遥感数据集中，只需要10秒，就能够检测出遥感图像中的所有球场。

用人工+算法来识别，则需要15分钟。

深度学习新方法让工作效率提高了90倍，检出准确率也能够达到84%。

而且，深度学习并不仅仅只是用于自动化检测高尔夫球场，还正在被用于理解遥感图像中的机场，建设在山区中的风力和光伏发电站。

借助深度学习技术，研究人员能够根据遥感图像快速识别出一个地区有多少太阳能面板，就有可能对这一地区能够发多少电有清晰的预估，并为电网建设提供决策支持，避免“有电没网”或者“有网没电”的窘境。

根据国家能源局给出的数据，仅2018年，光伏发电就浪费了54.9亿度，相当于200多万家庭一年的用电量（按一家庭每月用电200度来计算）。

这背后的社会价值可见一斑。而且，理解遥感图像，只是PaddlePaddle解决实际问题的一个范例。

在计算机视觉领域，这个框架已经能够支持模型完成图像分类、目标检测、图像语义分割、场景文字识别、图像生成、人体关键点检测、视频分类、度量学习等任务。