清华大学刘世霞“可解释机器学习的可视化分析”（附PPT）

刘世霞老师在此次报告中，主要为大家介绍了一些基于可视分析的可解释机器学习方面的工作（本文将以第一人称陈述报告内容）。

在我们的日常工作和生活中，机器学习无处不在，典型的例子包括搜索、推荐和欺诈检测，机器学习在这些任务中扮演着非常重要的角色。

为了让我们能够更好地了解机器学习模型的工作机制，并根据需要使用它们。为此，DARPA启动了 可解释的人工智能 项目。

Xai包括三个部分，我们的工作重点是基于可视分析技术的可解释界面，将最先进的HCI与新的原则、战略和技术相结合，以产生有效的解释。

DNNs已经发展成为许多人工智能应用中的最先进技术，然而，研究人员发现，DNNs通常容易受到恶意生成的对抗性示例的攻击，这些示例旨在误导DNNs做出错误的预测。

这种现象给将DNNs应用于安全和安全关键应用（如无人驾驶汽车、人脸识别ATM）带来了高风险。

在这项工作中，我们提供了一个可视化的分析 工具 来解释为什么会出现这样的错误分类。

[I]首先介绍如何抽取数据通路。

[I]抽取数据通路的关键在于，求出重要的神经元。

现在，研究者们普遍将响应最大的神经元作为数据通路，但是，当图片中出现容易识别的次要物体时，会出现错误。

产生这个错误的原因有两个:

第一，神经元之间存在复杂的关系;

第二，响应往往通过一个复杂的非线性函数才能得到最终的判决结果。

为了解决这个问题，这里我们选取真正能够影响最终判决结果的神经元作为重要的神经元。

换句话说，我们通过选取尽量少的神经元，达到保持原判决结果不变的目的。

从而将这个问题建模为一个子集选取问题。

接下来，我介绍一下关于模型工作机理解释的相关工作：

深度生成模型（Deep Generative Models）

上面有一个隐含的变量，用 Z 表示；中间会经过一个 深度神经网络 ，你可以根据你的任务选择不同的神经网络、不同的深度、不同的结构；下面是我们观察到的数据 X。这个场景有很多，比如对抗生成网络，可以生成高维的自然图片。实际上，Z 可以是非常随机的噪声，通过神经网络可以生成非常高质量的图片。

在这种框架下，我们可以做很多。比如可以给隐含变量设定某些结构信息，比如生成人脸时，有一些变量指代人的姿态，另外一些变量可能描述其他的特征，这两个放在一起我们就可以构建这样一个深度生成模型。

它同一列有同一姿态，可以变化其它变量来生成不同的图片。现在是非常受欢迎、非常强大的一种模型了。

与CNN不同的是：x和z都是随机变量，而CNN中都是实数

目前，大多数深度学习模型都是数据驱动的方法，而知识驱动的观点则相对较少受到关注。从这个意义上说，一个开放的研究机会是通过交互式可视化将人类专家知识和深度学习技术相结合。 

许多深度学习模型的培训非常耗时（从数小时到数天的计算），需要使用渐进的可视化分析技术将专家纳入分析循环。

深度学习模型通常容易受到对抗性干扰的影响，在这种情况下，恶意生成对抗性示例，以误导模型输出错误的预测。对抗性的例子被修改得很小，因此在许多情况下，这些修改可能非常细微，以至于人类观察者根本就无法注意到修改，但是模型仍然出错。

这些对抗性的例子经常被用来攻击深度学习模型。在这方面，在实际应用中，保持深度学习模型的健壮性至关重要。

因此，一个可解释的深度学习的研究机会是将人类的知识结合起来，以提高深度学习模型的鲁棒性。