用卷积神经网络来评估图形感知能力

卷积神经网络（Convolution Neural Network，CNN）已经在许多计算机视觉（Computer Vision）任务上取得了成功。 对于可视化，CNN 可以怎么应用于图形感知任务？ 这篇文章 [1] 通过复制 Cleveland 和 McGill 的1984年的开创性实验 [2] 来研究这个问题，该实验测量了不同视觉编码的人类感知效率，并定义了可视化的基本感知任务。 我们在五种不同的可视化任务上测量了四种网络架构的图形感知功能，并与现有人的感知能力进行比较。 虽然在有限的情况下 CNN 能够达到或超越人工任务表现，但我们发现 CNN 目前还不是人类图形感知的良好模型。 我们提供这些实验的结果，以促进理解 CNN 在应用于数据可视化时的成功和失败。

这篇文章为了确定CNN模型来拟合人类对图形的感知能力，文章中主要用了四种模型来进行实验：多层感知机、LeNet、VGG19、Xception。下面是具体的模型结构：

图1 实验模型

文章主要基于四个模型进行了5个实验：

1. 实验一、基本元素的感知任务

这个实验主要是基于基本的可视化元素，来衡量模型和人类对于位置、角度、长度、方向、面积、体积等等基本的感知任务的能力，下面是具体的实验中的数据：

图2 实验数据

图3 实验数据

基于这个实验，实验结果表示 CNN 模型能够更加准备的预测数值类的任务。

图4 实验一结果

2. 实验二、位置-角度实验

这个实验关注在对条形图和饼图的对比，模型需要识别不同的切块之间的比值（角度或者长度），最终实现的结果发现 CNN 模型对条形图对饼图的效果更快更好，而且结果与人类似，实验结果如下：

图5 实验二结果

3. 实验三、位置-长度实验

这个实验主要关注在不同的 Grouped 条形图之间的对比，模型需要识别数据中给定的两个条形，然后识别两者的长度的比率，然而实验结果显示 CNN 的结果不如人类，实验结果如下：

图6 实验三结果

4. 实验四、条形-框架矩形的比较实验

这个实验主要关注对条形和框架矩形的长度的不同的感知能力，人类对于框架矩形的长度的感知能力要优于普通的条形，而 CNN 模型对两者的结果没有很大的差别。实验结果如下：

图7 实验四结果

5. 实验五、点云实验

这个实验主要关注在对可视化中的点的个数的感知能力。实验过程是首先给定初始的图片中含有10，100， 1000个左右的点，然后随机的加上10个左右的点，测量人或者 CNN 是否能够准确的识别增加的点的数量。结果发现 VGG 是唯一的一个模型可以很好的处理这个问题。具体的实验结果入下：

图8 实验五结果

总的来说，这篇文章主要关注在 CNN 模型对于不同的可视化形式的感知能力，最终发现 CNN 的结果没有雨人的结果很一致。并且，作者推荐事先使用 VGG19 来做baseline。

引用：

[1］Haehn D, Tompkin J, Pfister H. Evaluating ‘Graphical Perception’with CNNs[J]. IEEE transactions on visualization and computer graphics, 2018.

[2] Cleveland W S, McGill R. Graphical perception: Theory, experimentation, and application to the development of graphical methods[J]. Journal of the American statistical association, 1984, 79(387): 531-554.