深度神经网络模型编译器 nGraph

• 授权协议: Apache-2.0
• 开发语言: C/C++
• 操作系统: 跨平台
• 软件首页: https://github.com/NervanaSystems/ngraph
• 软件文档: https://github.com/NervanaSystems/ngraph/blob/master/README.md
• 官方下载: https://github.com/NervanaSystems/ngraph/releases

软件介绍

英特尔的人工智能产品团队宣布开源 nGraph，这是一个面向各种设备和框架的深度神经网络模型编译器。有了 nGraph，数据科学家能够专注于数据科学研发，不需要担心如何将 DNN 模型部署到各种不同设备做高效训练和运行。

nGraph 目前直接支持 TensorFlow、MXNet 以及 neon，并可间接地通过 ONNX 支持 CNTK、PyTorch、Caffe2。用户能够在不同的设备上运行这些框架： 英特尔架构、GPU 和 英特尔 Nervana 神经网络处理器（NNP）。

为什么建立 nGraph

当深度学习框架作为模型训练和推断的工具首次出现时，在设计上是围绕 kernel 为特定设备优化。结果，把深度学习模型部署到其它更先进的设备时，会在模型定义暴露出许多细节问题，从而限制了其适应性和可移植性。

使用传统的方法意味着算法开发者面临把模型升级到其他设备时的沉闷工作。使一个模型能够在不同框架上运行也非常困难，因为开发者必须把模型的本质从对设备的性能调整中分离出来，并转化到新框架中的相似运算，最终在新框架上为优选的设备配置做必要的改变。

我们设计的 nGraph 库充分地减少了这些工程的复杂性。虽然通过该项目以及英特尔的 MKL-DNN 这样的库，能够为深度学习原语提供优化核，但仍有多种编译器启发式的方法能够带来进一步的优化。

nGraph 是如何工作的？

安装 nGraph 库，并使用该库编写或编译一个框架来训练模型和执行模型推理。将 nGraph 指定为框架后端，以在任意支持的系统上用命令行运行该库。我们的中间表征（Intermediate Representation，IR）层可以处理所有的设备抽象细节，从而让开发者集中于数据科学、算法和模型的研究，不需要花费太多精力在写代码上。

从更加详细的角度来说：

• nGraph 核心创建了计算过程的一种强类型和设备无关的无状态图表征。图中的每一个节点或运算对应计算的一个步骤，其中每个步骤从 0 或更多张量的输入中生成 0 或更多张量的输出。我们的思想是 nGraph 运算可以作为深度学习框架中的复杂 DNN 操作的构建模块，且它能根据需要而衡量是高效编译和推导训练计算还是推断计算。

• 我们为每个支持的框架开发了框架桥梁（framework bridge）；它作为 nGraph 核心和框架之间的媒介起作用。目前我们已经开发了 TensorFlow/XLA、MXNet 和 ONNX 的框架桥梁。由于 ONNX 仅仅是一种交换格式，因此 ONNX 的桥梁将通过执行 API 进行增强。

• 在 nGraph 核心和多种设备之间工作的变换器有着类似的作用；变换器使用通用的和设备特定的图转换处理设备抽象。得到的结果是一个函数，可以从框架桥梁执行。变换器是可分配和可解除分配的，可按桥梁的方向读取和写入张量。我们目前已有英特尔架构、英特尔 NNP、英伟达 cuDNN 的变换器，并正积极开发着其它设备的变换器。

本文地址：https://www.codercto.com/soft/d/11719.html