使用 TensorFlow Extended (TFX) 在生产环境中部署机器学习 丨 Google 开发者大会 2018

栏目: 数据库 · 发布时间: 7年前

内容简介:Google 开发者大会 (Google Developer Days,简称 GDD) 是展示 Google 最新开发者产品和平台的全球盛会,旨在帮助你快速开发优质应用,发展和留住活跃用户群,充分利用各种工具获得更多收益。2018 Google 开发者大会于 9 月 20 日和 21 日于上海举办。:point_right:2018 年 9 月 21 日 丘天豪(Google Brain 软件工程师)带来一场《使用 TensorFlow Extended (TFX) 在生产环境中部署机器学习》的演讲,本文

Google 开发者大会 (Google Developer Days,简称 GDD) 是展示 Google 最新开发者产品和平台的全球盛会,旨在帮助你快速开发优质应用,发展和留住活跃用户群,充分利用各种 工具 获得更多收益。2018 Google 开发者大会于 9 月 20 日和 21 日于上海举办。:point_right: Google 开发者大会 2018 掘金专题

2018 年 9 月 21 日 丘天豪(Google Brain 软件工程师)带来一场《使用 TensorFlow Extended (TFX) 在生产环境中部署机器学习》的演讲,本文将对演讲做一个回顾。

TensorFlow Extended

使用 TensorFlow Extended (TFX) 在生产环境中部署机器学习 丨 Google 开发者大会 2018

如上图所示,在实际生产环境中部署机器学习是一件让工程师非常头痛的事情,除了完成机器学习代码之外,工程师们还要考虑茫茫多的生产环境适配。换句话说,工程师们在生产环境中部署机器学习的难点并不在于机器学习的代码,而是在处理各种环境适配上,这些问题消耗了大量的时间,所以 TensorFlow Extended 平台就是为了解决这个难题而诞生。目前 Google 只是开源了一些库,而不是平台本身,所以需要引用一些库文件来使用部分功能。

使用 TensorFlow Extended (TFX) 在生产环境中部署机器学习 丨 Google 开发者大会 2018

TensorFlow Extended 平台的组成结构如上图所示,下面将根据 Google 开源的 四个部分进行介绍。

数据转换 (TensorFlow Trainsform)

使用 TensorFlow Extended (TFX) 在生产环境中部署机器学习 丨 Google 开发者大会 2018

在使用数据集之前,往往需要对数据进行转换,TFT 允许将数据转换成 TF 计算图,同时也可以定义一些特殊的转换来表达特殊的特征。生成的 TF 计算图是完成密封的,包含所有的特征值信息,这也就意味着可以应用于训练和部署中。这个是十分重要的一点,在生产环境中,有可能我们训练和部署所使用的语言和路径是不相同的,而 TF 计算图是完成密封的,很好的解决了这个问题。

示例:

出租车给小费实例

使用 TensorFlow Extended (TFX) 在生产环境中部署机器学习 丨 Google 开发者大会 2018
使用 TensorFlow Extended (TFX) 在生产环境中部署机器学习 丨 Google 开发者大会 2018

GitHub: github.com/tensorflow/…

模型训练 (Estimators or Keras)

使用 TensorFlow Estimators 进行模型训练

使用 TensorFlow Extended (TFX) 在生产环境中部署机器学习 丨 Google 开发者大会 2018

训练好的模型会以 SavedModel 形式输出。

使用 TensorFlow Extended (TFX) 在生产环境中部署机器学习 丨 Google 开发者大会 2018

使用 tf.Keras 进行模型训练

使用 TensorFlow Extended (TFX) 在生产环境中部署机器学习 丨 Google 开发者大会 2018

模型评估和验证(TensorFlow Model Analysis)

在完成模型训练之后,往往需要重新编写代码对模型进行评估和验证。TFMA 就是为了解决这个问题出现。

使用 TensorFlow Extended (TFX) 在生产环境中部署机器学习 丨 Google 开发者大会 2018

在运行上图所示代码后,会出现如下图这样的图形界面,更加直观的对模型就行评估。

使用 TensorFlow Extended (TFX) 在生产环境中部署机器学习 丨 Google 开发者大会 2018

GitHub: github.com/tensorflow/…

模型部署 (TensorFlow Serving)

使用 TensorFlow Extended (TFX) 在生产环境中部署机器学习 丨 Google 开发者大会 2018

在使用 TensorFlow Serving 部署模型之后,使用 Serving 接口即可进行访问。

使用 TensorFlow Extended (TFX) 在生产环境中部署机器学习 丨 Google 开发者大会 2018

GitHub: github.com/tensorflow/…

在机器学习过程中,数据是十分重要的,错误的数据将对模型产生或多或少的影响。垃圾数据对存在回路的机器学习模型来说影响因子更大,可能原始数据中很少的垃圾数据会被无限放大,因此数据的分析和验证显得尤为重要。


以上所述就是小编给大家介绍的《使用 TensorFlow Extended (TFX) 在生产环境中部署机器学习 丨 Google 开发者大会 2018》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

遗传算法

遗传算法

王小平 / 西安交通大学出版社 / 2002-1 / 40.00元

《遗传算法:理论应用与软件实现》全面系统地介绍了遗传算法的基本理论,重点介绍了遗传算法的经典应用和国内外的新发展。全书共分11章。第1章概述了遗传算法的产生与发展、基本思想、基本操作以及应用情况;第2章介绍了基本遗传算法;第3章论述了遗传算法的数学基础;第4章分析了遗传算法的多种改进方法;第5章初步介绍了进化计算理论体系;第6章介绍了遗传算法应用于数值优化问题;第7章介绍了遗传算法应用于组合优化问......一起来看看 《遗传算法》 这本书的介绍吧!

在线进制转换器
在线进制转换器

各进制数互转换器

SHA 加密
SHA 加密

SHA 加密工具

HEX HSV 转换工具
HEX HSV 转换工具

HEX HSV 互换工具