计算机应用研究

作者：魏业鸣,郑美光,

单位：中南大学计算机学院,长沙410018；

关键词：分布式机器学习,随机梯度下降,参数服务器,部分同步,

基金：国家自然科学基金资助项目(62172442)；湖南省自然科学基金青年科学基金资助项目(2020JJ5775)；；

Local SGD训练方法用于分布式机器学习以缓解通信瓶颈，但其本地多轮迭代特性使异构集群节点计算时间差距增大，带来较大同步时延与参数陈旧问题。针对上述问题，基于Local SGD方法提出了一种动态部分同步通信策略（LPSP），该方法利用两层决策充分发挥Local SGD本地迭代优势。在节点每轮迭代计算结束后，基于本地训练情况判断通信可能性，并在全局划分同步集合以最小化同步等待时延，减少Local SGD通信开销并有效控制straggler负面影响。实验表明LPSP可以在不损失训练精确度的情况下实现最高0.75~1.26倍的加速，此外，最高还有5.14%的精确度提升，可以有效加速训练收敛。

来源：2023年第12期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2023年第12期