女朋友生气了吗？算法比直男更懂她

亚马逊语音助手  Alexa 在感知情绪方面，可能比男朋友还机智。

今年，经过最新升级后，Alexa 已经能够通过 分析用户指令的高低和音量等反应，识别出快乐、高兴、愤怒、悲伤、烦躁、恐惧、厌恶、厌倦甚至压力等情绪，并对相应指令做出回应。

比如，如果一个女生一边擤鼻涕一边咳嗽一边又跟 Alexa 说自己有点饿了，那么 Alexa 就会通过对女生说话的的音调（虚弱、低沉）和背景音（咳嗽、擤鼻涕）分析出她很可能得病了，然后发出来自机器的贴心关怀：要不要来碗鸡汤，或者叫个外卖？甚至直接线上订购一瓶止咳糖浆一小时内送货上门？

这表现，是不是比钢铁直男男朋友还贴心 ？

人 工智能做情绪分类已不是什么新鲜事了，不过，最近， 亚马逊 Alexa Speech 团队前段时间打破了传统方法，发表了新的研究成果。

传统的方法都是有监督的，其获取的训练数据已经根据说话者的情绪状态被标记过。 而亚马逊 Alexa Speech 团队的科学家最近采用了一种不同的方法，他们在国际声学，语音和信号处理会议（ICASSP）上发表了介绍这种方法的论文 《Improving Emotion Classification through Variational Inference of Latent Variables》 （ http://t.cn/Ai0se57g）

他们没有采用详尽注释过「情感」的语料库来训练系统，而是提供了一个 对抗自编码器（AAE） 。这是一个包含来自 10 个不同发言者的 10,000 个 话语的公开数据集。

他们得到的研究结果是，在判断人们的声音中的 效价 （emotion valence）或 情感价值 （emotional value）时，神经网络的 准确度提高了 4％。 在团队的努力下，通过用户声音，便能可靠地确定用户的心情或情绪状态。

AAE 模型原理示意图

论文的共同作者，Alexa Speech 组高级应用科学家 Viktor Rozgic 解释道，对抗自编码器是包含编码器的两部分模型——编码器（encoder）和解码器（decoder）。编码器学习生成输入语音的紧凑（或潜在）表示，编码训练示例的所有属性；而解码器重建来自紧凑表示的输入。

对抗自编码器的架构

研究人员的情绪表征由 三个网络节点 组成，三个网络节点分别用于三种情绪测量： 效价 ， 激活 （activation，说话者是警觉的，投入的还是被动的），以及 支配 （说话者是否感觉被周边局面控制）。

训练分 三个阶段 进行。第一阶段使用无标签的数据单独训练编码器和解码器。第二阶段为对抗训练，对抗性鉴别器试图区分编码器产生的真实表示与人工表示的技术，该阶段用于调整编码器。在第三阶段，调整编码器以确保潜在情绪表示，来预测训练数据的情绪标签。

为了捕获有关语音信号的信息，在涉及句子级特征表示的「hand-engineered」实验中，他们的 AI 系统在评估效价方面比传统训练网络的准确度提高了 3％。

此外，他们表示，当向网络提供一组表示 20 毫秒帧(或音频片段)声学特性的序列时，效果提高了 4%。

亚 马逊不是唯一一家研究改进的基于语音的情绪检测的公司。 麻省理工学院媒体实验室 Affectiva 最近演示了一个神经网络 SoundNet：可以在短短 1.2 秒内 （已经超越人类感知愤怒所需时间）将愤怒与音频数据分类，并且无论哪种语言。

Affectiva 的研究人员在新论文 《 Transfer Learning From Sound Representations For Anger Detection in Speech 》（ https://arxiv.org/pdf/1902.02120.pdf） 中描述了该系统。 它建立在语音和面部数据打造情感档案的基础上。

为了测试 AI 模型的通用性，该团队使用以英文训练的模型，对普通话语音情感数据训练的模型（普通话情感语料库，简称MASC）进行了评估。结果它 不仅可以很好地推广到英语语音数据，对汉语数据也很有效，尽管性能略有下降。

针对英文与中文的训练结果 ROC 曲线

虚线表示随机分类器的 ROC 

团队表示，「识别愤怒应用广泛，包括会话界面和社交机器人，交互式语音应答（IVR）系统，市场研究，客户代理评估和培训，以及虚拟现实和增强现实。」

未来的工作将开发其他大型公共语料库，并为相关的基于语音的任务训练 AI 系统，例如识别其他类型的情绪和情感状态。

以色列创业公司 Beyond Verbal 开发了一款名为 Moodies 的应用，它能够通过麦克风采集说话者的声音，经过 20 秒左右的分析，判断说话者的情绪特征。

Moodies 拥有一套特殊的算法， 软件会对说话者的

节奏、时间、声音大小、停顿以及能量等情绪维度进行分析

尽管语音分析专家承认语言与情绪具有相关性，但不少专家却质疑这种实时测算的准确性——这类 工具 收集到的声音样本非常有限，实际的分析可能需要收集数年的样本。

「以目前认知神经学的水平，我们根本没有技术真正地了解一个人的思想或者情感。」 哥伦比亚大学心理学教授助理 Andrew Baron 说道。

不过 Beyond Verbal 负责市场的副总裁 Dan Emodi 表示，Moodies 经过了三年多的研究，根据用户的反馈， 应用分析的准确率约为 80%。

Beyond Verbal 公司表示，Moodies 可以应用于自我情绪诊断、客服中心处理顾客关系甚至检测求职者是否说谎，当然你也可以带到约会的场景中，看对方是否真的对自己感兴趣。

语音情绪识别依然面临挑战

虽然很多科技公司已经在这方面有着多年的研究，也得到不错的成果。但是，正如上文 Andrew Baron 所质疑的，这项技术还面临多个挑战。

就像女朋友一句平静的「我没生气」并不代表她真的没生气一样，一个发音中可以包含多种感情， 不同情感的边界也难 以界定 ，哪个情绪是当前主导的情绪？

国内某语音情绪识别产品展示

并不是所有的语气都像视频中这样明显与激烈，表达情感是一个个性化极强的事情，根据个人，环境甚至文化差异都很大。

此外，一种情绪可能持续很长时间，但期间也会有快速变化的情绪， 情感识别系统是检测长期的情绪还是短时的情绪呢？ 比如某人限于失业的痛苦中，但期间因为朋友的关心短暂开心了一下，但实际上他仍处于伤心状态，AI 该怎么定义他的状态呢？

而另一个令人担心的事是，当这些产品能够听懂人的情绪后，是否会因为用户对它的依赖，而询问更多隐私性的问题，获取用户多方面信息，从而 将「服务」变成「买卖」？

愿你会拥有大白，也拥有真正懂你的人

很多人都想拥有一个温暖又贴心的大白，这个在科幻动画里才有的高情商机器人，未来是否会成真呢？

非常低落而缓慢地跟小冰说话得到无情回答

目前，很多聊天机器人依然没有情商，无法感知用户的小情绪，常常把天聊死。所以，真正能够听懂你的，依然是陪伴在你身边倾听你的人。