分布式训练框架 Apache Horn

• 授权协议: Apache
• 开发语言: Java
• 操作系统: 跨平台
• 软件首页: https://github.com/apache/incubator-horn
• 软件文档: https://github.com/apache/incubator-horn/blob/master/README.md

软件介绍

Apache Horn 是 Apache 的一个孵化项目，是一个以神经元为中心的编程模型和同步、异步混合的分布式训练框架，支持数据和模型并行性，用于在 Apache Hadoop 和 Hama 训练具有大量数据集的大型模型。

快速运行示例

下载 MNIST 训练和标签数据集，并使用以下命令转换为 HDFS 序列文件：

 % bin/horn jar horn-0.x.0.jar MNISTConverter \
   train-images.idx3-ubyte train-labels.idx1-ubyte /tmp/mnist.seq

然后，用以下命令训练它（在这个例子中，我们使用η0.01、α0.9、λ0.0005、100 hidden units和 minibatch 10）： 

 % bin/horn jar horn-0.x.0.jar MultiLayerPerceptron /tmp/model /tmp/mnist.seq \
   0.01 0.9 0.0005 784 100 10 10 12000

使用此默认示例，你将达到95％的准确度。 在本地模式下，20个任务将以同步并行方式训练模型，并且将花费大约10分钟。 

本文地址：https://www.codercto.com/soft/d/16775.html