- 授权协议: Apache
- 开发语言: Python
- 操作系统: 跨平台
- 软件首页: https://github.com/yahoo/TensorFlowOnSpark
- 软件文档: https://github.com/yahoo/TensorFlowOnSpark
软件介绍
TensorFlowOnSpark 将 TensorFlow 带到 Apache Spark 集群上，由 Yahoo 开源。
TensorFlowOnSpark 为 Apache Hadoop 和 Apache Spark 集群带来可扩展的深度学习。 通过结合深入学习框架 TensorFlow 和大数据框架 Apache Spark 、Apache Hadoop 的显着特征，TensorFlowOnSpark 能够在 GPU 和 CPU 服务器集群上实现分布式深度学习。
TensorFlowOnSpark 支持对 Apache Spark 集群进行分布式 TensorFlow 训练和推断。它试图最小化在共享网格上运行现有 TensorFlow 程序所需的代码更改量。 它的 Spark 兼容 API 通过以下步骤来管理 TensorFlow 集群：
预留 - 为每个执行程序保留 TensorFlow 进程的端口，并启动数据/控制消息的侦听器。
启动 - 在执行器上启动 Tensorflow 主函数。
数据摄取
Readers & QueueRunners - 利用 TensorFlow 的 Reader 机制直接从 HDFS 读取数据文件。
Feeding - 使用 feed_dict 机制将 Spark RDD 数据发送到 TensorFlow 节点。 请注意，需利用 Hadoop 输入/输出格式访问 HDFS 上的 TFRecords。
关闭 - 关闭执行器上的 Tensorflow 工作线程和 PS 节点。
大数据大创新：阿里巴巴云上数据中台之道
邓中华 / 电子工业出版社 / 2018-11 / 99
阿里巴巴云上数据中台正服务着阿里生态中的数十个业务板块、百余家公司、千万级客户，在帮助决策层看清甚至决定业态走向的同时，在上万个业务场景中应用并催生创新。 《大数据大创新：阿里巴巴云上数据中台之道》基于作者在阿里巴巴的十年大数据从业经历，精彩演绎云上数据中台之道。《大数据大创新：阿里巴巴云上数据中台之道》基于大数据探索的大趋势，讲述阿里巴巴云上数据中台顶层设计，再以实际案例详述阿里巴巴云上数......一起来看看 《大数据大创新：阿里巴巴云上数据中台之道》 这本书的介绍吧!
