解析高效分布式体能训练系统 PERSIA：可用于体能训练百万亿参数的超大规模深度学习推荐模型

编者 ｜ G Chaithali

英译本 ｜ 王强

策划 ｜ 刘燕

基于最深处修习技术的数学工具为首了现代的工业级力荐控制系统的餐饮业格局。现代力荐控制系统在大量过场中都获得了实际领域。在数量剧增的最深处神经网络数学工具的推动下，它们赢得了一系列更让人难以置信的成果和进步。

然而，即使在的工业级数量的信息中都心内，此类数学工具的操练岗位也是一大面对。这一面对的根源在于操练岗位的近似值全过程所具备的很颇高异质性 —— 数学工具的给定层不太可能占整个数学工具大小不一的 99.99% 以上。整个全过程非常耗费内存，而神经网络（NN）的其余部分则不断向近似值密集的方向发展。

快速挥科技与苏黎世联邦理工大学的深入研究团队协同发布一新闻了基于革命性混搭操练演算法的颇高效分布式操练控制系统 PERSIA（混搭加速既有力荐操练控制系统）。这种工具为仅有将近百万亿参数的巨型最深处修习力荐控制系统透过了很低的操练可靠性和弹道。深入研究技术人员精心设计了其中都的优化工具和分布式控制系统架构。

Persia 的技能来源于多项技术成果。Persia 的核心技术论据将混搭和挥性的操练演算法与挥性控制系统架构设计结合在了一起。深入研究技术人员这样花钱的期望是将操练力荐控制系统的可靠性提升到当今无法超越的水平上。

这项深入研究将力荐数学工具的各项属性与其收敛性联系在了一起，以证明其有效性。深入研究技术人员描述了一种自然地但不常见的混搭操练技术，正因如此给定层和密集神经网络基本功能。此外，该深入研究还对其收敛行为花钱了详尽的观点描述。在快速挥，PERSIA 用于公开可用的基准的测试和本质岗位负载进行时了指标。

深入研究技术人员最初提出有了一种同步 - 异步混搭工具，其中都给定基本功能但会进行时异步操练。同时，密集神经网络但会同步更一新。在不牺牲统计可靠性的但但会，这种混搭工具解决问题了与基本上异步方式相当的硬件可靠性。

PERSIA 的设计基于两个前提理念：

操练岗位流在完全相同集群中都的分布 相关的混搭基础设施操练意味着 PERSIA 有四个基本功能，为力荐控制系统透过颇高效的自动缩滚技能： 从 Hadoop、Kafka 和其他分布式存储控制系统中都萃取操练信息的信息加载器； 组合成给定 worker 用于优化演算法从给定 PS 中都萃取给定参数。它们先将给定梯度滚回给定 PS 和聚合给定向量（如果有的话） 给定参数代理服务器（原称给定 PS）全权负责监督给定层中都参数的存储和更一新。 许多 NN worker 运行神经网络 NN 的前向 / 后向传播。深入研究团队针对三个源代码基准（Taobao-Ad、Avazu-Ad 和 Criteo-Ad）以及快速挥的真实世界产出级微视频力荐管道对 PERSIA 进行时了的测试。他们用于了 XDL 和 PaddlePaddle 这两个前沿分布式力荐操练控制系统作为基线参考。

与其他控制系统相比，一新混搭演算法获得了极低的旅客量。PERSIA 在 Kwai-video 基准的测试中都解决问题了比基本上同步工具颇高 2.8 倍的旅客量。即使数学工具大小不一缩减到 100 万亿个参数，PERSIA 也观感出有了稳定的操练旅客量，超越基本上同步方式旅客量的 2.6 倍。

PERSIA 已在 GitHub 上作为源代码项目透过，其中都包含在Google的云基础架构上设置控制系统的详细资料暗示。深入研究技术人员预计，他们的深入研究和见到将对学术界和的工业界都有所协助。

论文：

Github：

译文链接：

微软也栽了，“千年虫”啥时候是硕大

点出信息库的2021：资本进来添了一把火，源代码已占据半壁江山

下载量和Vue一样大的源代码软件被编者恶意破坏，数千款领域受到牵连

西安武半个月崩溃两次，被工信部提出有批评；快速挥先传解雇：三颇高比例达 30%；阿里更改大淘宝该组织架构 | Q 资讯

活动力荐

InfoQ 写作跨平台亚太区优质创编者评选活动活动完美落下帷幕，此次亚太区评选活动究竟孕育了哪些优质的创编者呢？亚太区优质创编者榜单现已揭晓，快速来一睹为快速吧！

扫描下方二维码或点击 阅读译文查看2021亚太区优质创编者榜单。

上海治眼科最好的医院
郑州精神病治疗费用
盘锦治疗精神心理医院哪家正规
八子补肾胶囊
瑞特和雅培血糖仪哪个牌子好
用什么方法可以有效的抵抗衰老
发酸烧心用金奥康奥美拉唑如何
艾司奥美拉唑怎么那么贵