内容简介：百度硅谷人工智能实验室开源高性能计算代码
美国时间2月22日，百度硅谷人工智能实验室(SVAIL)宣布向深度学习领域开源了 Ring Allreduce算法库，以实现在多个GPU之上更快速地训练神经网络模型。
Ring Allreduce是高性能计算领域的著名算法，但在深度学习领域应用不足。该技术可以实现近乎线性的加速，以及几十个甚至上百个GPU的扩展。比如，运用Ring Allreduce算法，百度硅谷人工智能实验室将神经网络的训练扩展至40个GPU并且训练速度提高31倍。
过去几年里，神经网络迅猛发展，其训练所需的数据量和计算资源也越来越大。为了提供所需的计算能力，更多GPU被用在训练之中。
在多个GPU之上训练神经网络通常比较困难，因为比较普遍的做法是向单个GPU发送数据，这样就形成了通讯瓶颈。而Ring Allreduce算法可以大大减少GPU用于发送数据的时间，用更多的时间进行有效运算，以此来消除瓶颈。
“Ring Allreduce算法让我们可以在神经网络的众多设备和节点之间进行更加高效的梯度分级，这是一种针对带宽优化的算法，能够大大减少运算时间，从而实现更多设备的扩展，同时还能保留同步随机梯度下降的确定性与可预测的收敛性质。百度研究员Andrew Gibiansky表示。
百度Ring Allreduce ( https://github.com/baidu-research/baidu-allreduce )C类库可在Github上下载使用。
同时Github上还提供与TensorFLow共同使用时所需的补丁 ( https://github.com/baidu-research/tensorflow-allreduce )。
以上所述就是小编给大家介绍的《百度硅谷人工智能实验室开源高性能计算代码》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
文明之光（第一册）
吴军 / 人民邮电出版社 / 2014-6-25 / 59.00元
人类的历史，是从野蛮蒙昧一步步走向文明进步的过程。在文明的进程中，人类创造出多元的文化，它们有着各自的特长。要实现人类和平发展的终极理想，一个重要的前提是承认文化的多元性，并且取长补短，相互融合。 吴军博士写作《文明之光》系列，希望能开阔人们的视野，让我们看到各种各样的人类文明。虽然今天不同的地区发达程度不同，文明历史的长短不一，国家亦有大小之分，但是文明之光从世界的每一个角落发出，对人类的......一起来看看 《文明之光（第一册）》 这本书的介绍吧!
