机器之心 翻译
参与 李诗萌 路雪
自动生成高效DNN，适用于边缘设备的生成合成工具FermiNets
来自滑铁卢大学滑铁卢 AI 研究所和 DarwinAI 公司的研究者提出一种新思路：生成合成（generative synthesis），利用生成机器来自动生成具备高效网络架构的深度神经网络。
深度学习[12] 因在图像分类 [11] 和语音识别[5] 等广泛领域取得的巨大突破而受到大量关注。尽管已经取得了很多成果，但深度神经网络的复杂度限制了它们在边缘场景中的使用，这些场景包括计算能力、内存、带宽、能源有限的移动端和其它消费类设备。近年来对于提升深度神经网络效率方面的探索显著增加，这些研究尤其偏向边缘设备和移动设备。研究中的一种常见方法是精度降低 [10,14,3]，在这种方法中网络的数据表征从常用的 32 位浮点精度降到不动点精度或整数精度 [10]、2 比特精度 [14] 甚至 1 比特精度 [3]。另一种方法是模型压缩 [4,7,15]，这种方法涉及到一些传统的数据压缩方法，比如权重阈值法、哈希以及霍夫曼编码等，还涉及师生策略，这种策略让较大的教师网络训练较小的学生网络。最后还有一种方法，这种方法的重点在于深度神经网络的基本设计，它还利用架构设计原理实现了更高效的深度神经网络的宏架构 [8,9,17,21]。
本论文探讨了一种非常不同的想法：我们可以学得一个生成机器来自动生成具备高效网络架构的深度神经网络吗？作者引入了生成合成（generative synthesis）的思想，这种思想以串联起来的生成器-判别器对（generator-inquisitor pair）之间错综复杂的交互为前提，获得观点并学习生成高效的深度神经网络，这种深度神经网络能在最大程度上满足设备端这类边缘场景的操作要求。
实验结果与讨论
为了评估生成合成（下文都用 GenSynth 代替）产生自动生成高效深度神经网络的生成器的效果（由于这些网络比较小所以我们将它们称为 FermiNets），我们进行了三项实验：
-
图像分类。ϕ：ResNet [6]，1_r(·)：在 CIFAR-10 上的准确率≥ 89%。
-
语义分割。ϕ：RefineNet [13]，1_r(·)：在 CamVid [1] 上的准确率≥ 89%。
-
目标检测。ϕ：DetectNet [19]，1_r(·)：在 Paese27K [18] 上的 mAP ≥ 61%。
我们用以下指标评估了 FermiNets 的性能：i）用信息密度 [2] 来评估模型效率，ii）用乘积累加运算（MAC）来评估计算成本，iii）用 NetScore [20] 来评估整体模型性能（准确率、架构复杂度以及计算复杂度之间的平衡）。
图 1：图像分类：（左上）在 CIFAR-10 上的 Top-1准确率，（右上）信息密度 [2]，（左下）MAC 运算，（右下）NetScore [20]。
图 2：语义分割：（a）信息密度；（b）MAC 运算；（c）NetScore。
图 3：目标检测：（a）信息密度；（b）MAC 运算；（c）NetScore；（d）在 Nvidia Tegra X2 移动处理器上的能效。
论文：FermiNets: Learning generative machines to generate efficient neural networks via generative synthesis
论文链接：https://arxiv.org/abs/1809.05989
摘要：深度学习所展示出的巨大潜力往往会被架构复杂度以及计算复杂度抵消，这使它很难广泛地部署在边缘长江，如移动设备和其它消费类设备。为了解决这一困难，我们研究了一种新想法：我们可以学得生成机器来自动地生成具备高效网络架构的深度神经网络吗？我们在本研究中引入了生成合成的思想，这种思想以串联起来的生成器-判别器对之间错综复杂的交互为前提，获得观点并学习生成高效的深度神经网络，这种深度神经网络能在最大程度上满足设备端这类边缘场景的操作要求。最有趣的地方在于，一旦通过生成合成学得生成器，它能够用于生成满足操作要求的大量不同的高效深度神经网络。图像分类、语义分割和目标检测任务的实验结果说明生成合成在产生可自动生成高效深度神经网络的生成器中的效用（我们将这些网络称为 FermiNets），生成合成使模型的效率更高、计算成本更低、能效也更高。因此，生成合成是一种强大、通用的方法，可用于加速和改进设备端边缘场景中深度神经网络的构建。
理论 论文 DNN
相关数据
Deep neural network
深度神经网络（DNN）是深度学习的一种框架，它是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。
来源：机器之心 Techopedia
Speech Recognition
自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域，它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性，目前的语音识别系统只能在一定的限制条件下获得满意的性能，或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。
Weight
线性模型中特征的系数，或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0，则相应的特征对模型来说没有任何贡献。
来源：Google AI Glossary
Deep learning
深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。
来源： LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.
Accuracy
分类模型的正确预测所占的比例。在多类别分类中，准确率的定义为：正确的预测数/样本总数。 在二元分类中，准确率的定义为：(真正例数+真负例数)/样本总数
机器之心编辑
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
猜你喜欢:
- 数据生成工具 ZenData 发布 2.0 版本，自动生成“互联网黑话”！
- Simulink自动生成代码
- changelog 日志自动生成插件
- 深度有趣 | 23 歌词古诗自动生成
- 自定义Mybatis自动生成代码规则
- 自动生成跨多端骨架屏
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
