谷歌开源了一个分布式机器学习库 GPipe，这是一个用于高效训练大规模神经网络模型的库。
GPipe 使用同步随机梯度下降和管道并行进行训练，适用于由多个连续层组成的任何 DNN。重要的是，GPipe 允许研究人员轻松部署更多加速器来训练更大的模型，并在不调整超参数的情况下扩展性能。
开发团队在 Google Cloud TPUv2s 上训练了 AmoebaNet-B，其具有 5.57 亿个模型参数和 480 x 480 的输入图像尺寸。该模型在多个流行数据集上表现良好，包括将 single-crop ImageNet 精度推至 84.3％，将 CIFAR-10 精度推至 99％，将 CIFAR-100 精度推至 91.3％。
GPipe 可以最大化模型参数的内存分配。团队在 Google Cloud TPUv2上进行了实验，每个 TPUv2 都有 8 个加速器核心和 64 GB 内存（每个加速器 8 GB）。如果没有 GPipe，由于内存限制，单个加速器可以训练 8200 万个模型参数。由于在反向传播和批量分割中重新计算，GPipe 将中间激活内存从 6.26 GB 减少到 3.46GB，在单个加速器上实现了 3.18 亿个参数。此外，通过管道并行，最大模型大小与预期分区数成正比。通过 GPipe，AmoebaNet 能够在 TPUv2 的 8 个加速器上加入 18 亿个参数，比没有 GPipe 的情况下多 25 倍。
核心 GPipe 库目前开源在 Lingvo 框架下 。
具体原理可以查看谷歌的 发布公告 。
以上所述就是小编给大家介绍的《谷歌开源 GPipe，训练更大模型、不调整超参扩展性能》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
猜你喜欢:
- 开源 AI 模型开发平台「天枢平台」已在 Gitee 开源
- 向 OpenAI 喊话：语言模型啥时候开源？
- Facebook开源深度学习推荐模型DLRM
- Oracle开源机器学习模型云端部署工具Graphpipe
- 完胜 BERT，谷歌最佳 NLP 预训练模型开源
- 微软开源基于模型的机器学习框架 Infer.NET
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
51单片机应用从零开始
杨欣、王玉凤、刘湘黔 / 清华大学 / 2008-1 / 39.80元
《51单片机应用与实践丛书•51单片机应用从零开始》在分析初学者认知规律的基础上，结合国内重点大学一线教师的教学经验以及借鉴国外经典教材的写作手法，对51单片机的应用基础知识进行系统而翔实的介绍。读者学习每一章之后，"实例点拨"环节除了可以巩固所学的内容外，还开辟了单片机应用的视野；再加上"器件介绍"环节，又充实了对单片机从基础到应用所需要的知识。8051单片机不仅是国内用得最多的单片机之一，同时......一起来看看 《51单片机应用从零开始》 这本书的介绍吧!
