DeepSpeed v0.3.0 发布，微软开源的深度学习优化库

内容简介：DeepSpeed v0.3.0 发布了。DeepSpeed 是微软开源的深度学习优化库，它可以在当前一代的 GPU 集群上训练具有超过千亿个参数的 DL 模型，使分布式训练变得容易、高效和有效。 新特性 DeepSpeed：面向所有人的极限模...

DeepSpeed v0.3.0 发布了。DeepSpeed 是微软开源的深度学习优化库，它可以在当前一代的 GPU 集群上训练具有超过千亿个参数的 DL 模型，使分布式训练变得容易、高效和有效。

新特性

• DeepSpeed：面向所有人的极限模型训练
  • 通过 DeepSpeed 稀疏注意力提高 10 倍的序列长度和 6 倍的执行速度
  • 使用管道并行性训练数万亿个参数
  • 通过 1 位 Adam 最多可减少 5 倍的交流和 3.4 倍的训练
  • 通过 ZeRO-Offload 在单个 GPU 上进行 10 倍于大型模型的训练

改进

• 重构代码库，以更清楚地区分 ops/runtime/zero 等
• 条件运算构建
  • 并非所有用户都必须花时间构建 transformer kernels，如果他们不想使用的话
  • 为了确保 DeepSpeed 在多个环境中可移植，某些功能需要唯一的依赖关系，但并非每个人都能够或想要安装
• DeepSpeed 启动器除了支持 pdsh 外还支持其他后端，例如 Open MPI 和 MVAPICH

更新说明：https://github.com/microsoft/DeepSpeed/releases/tag/v0.3.0

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网

查看所有标签

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。