计算机应用研究

作者：刘乔寿,皮胜文,原炜锡,

单位：重庆邮电大学a.通信与信息工程学院;b.先进网络与智能互联技术重庆市高校重点实验室;c.泛在感知与互联重庆市重点实验室,重庆400065；

关键词：联邦学习,Z-Score,稀疏化,动态稀疏率,

联邦学习作为一种具有隐私保护的新兴分布式计算范式，在一定程度上保护了用户隐私和数据安全。然而，由于联邦学习系统中客户端与服务器需要频繁地交换模型参数，造成了较大的通信开销。在带宽有限的无线通信场景中，这成为了限制联邦学习发展的主要瓶颈。针对这一问题，提出了一种基于Z-Score的动态稀疏压缩算法。通过引入Z-Score，对局部模型更新进行离群点检测，将重要的更新值视为离群点，从而将其挑选出来。在不需要复杂的排序算法以及原始模型更新的先验知识的情况下，实现模型更新的稀疏化。同时随着通信轮次的增加，根据全局模型的损失值动态地调整稀疏率，从而在保证模型精度的前提下最大程度地减少总通信量。通过实验证明，在I.I.D.数据场景下，该算法与联邦平均（FedAvg）算法相比可以降低95%的通信量，精度损失仅仅为1.6%，与FTTQ算法相比可以降低40%~50%的通信量，精度损失仅为1.29%，证明了该方法在保证模型性能的同时显著降低了通信成本。

来源：2024年第7期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2024年第7期