内容简介:这个高性能标准协议应该能使企业更容易从任何框架部署和查询机器学习模型。机器学习有望改变行业现状。但是,它在企业中的应用速度比大家预期的要慢,因为这些组织很难自己部署和管理机器学习技术。部分挑战是机器学习模型通常使用定制技术进行训练和部署,从而难以跨服务器或不同部门进行模型的部署。
这个高性能标准协议应该能使企业更容易从任何框架部署和查询机器学习模型。
机器学习有望改变行业现状。但是,它在企业中的应用速度比大家预期的要慢,因为这些组织很难自己部署和管理机器学习技术。部分挑战是机器学习模型通常使用定制技术进行训练和部署,从而难以跨服务器或不同部门进行模型的部署。
为此,甲骨文希望通过开源且高性能的标准网络协议来传输张量数据(tensor data) —— 这样的一种技术手段来解决上述挑战。这项新标准, 甲骨文称之为 GraphPipe ,可使企业更容易从任何框架部署和查询机器学习模型。
官方对 GraphPipe 的解释为,这是一种协议和软件集合,旨在简化机器学习模型部署并将其与特定于框架的模型实现分离。
GraphPipe 旨在解决三个特殊挑战:
-
首先,模型服务 API 没有标准,这意味着业务应用程序通常需要定制客户端与已部署的模型进行通信。
-
接下来,构建模型服务器非常困难,并且几乎没有开箱即用的部署解决方案。
-
最后,企业现在通常使用的解决方案(如 python-JSON API)无法提供关键业务应用程序所需的性能。
GraphPipe 包括
-
一组 flatbuffer 定义
-
根据 flatbuffer 定义一致的模型的指南
-
来自各种机器学习框架的模型的示例
-
用于通过 GraphPipe 查询模型的客户端库
GraphPipe 功能特性
-
基于 flatbuffers 的微型机器学习传输规范
-
适用于 Tensorflow , Caffe2 和 ONNX 的 简单高效参考模型服务器(reference model servers)
-
Go,Python 和 Java 的高效客户端实现
使用这些工具,企业应该可跨多个服务器进行模型的部署,或者使用通用协议从不同的框架创建模型集合。GraphPipe 可以帮助为依赖远程运行模型的物联网应用程序部署机器学习。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
深入理解OpenCV
[巴西]Daniel Lelis Baggio / 刘波 / 机械工业出版社 / 2014-9 / 59
opencv是最常见的计算机视觉库之一,它提供了许多经过优化的复杂算法。本书对已掌握基本opencv技术同时想提高计算机视觉的实践经验的开发者来讲是一本非常好的书。每章都有一个单独的项目,其背景也在这些章节中进行了介绍。因此,读者可以依次学习这些项目,也可以直接跳到感兴趣的项目进行学习。 《深入理解opencv:实用计算机视觉项目解析》详细讲解9个实用的计算机视觉项目,通过本书的学习,读者可......一起来看看 《深入理解OpenCV》 这本书的介绍吧!