国内刊号:51-1196/TP
国际刊号:1001-3695
发布日期:
作者:武文媗,王灿,黄静静,吴秋新,秦宇,
单位:1.北京信息科技大学理学院,北京100192;2.中国科学院软件研究所,北京100190;
关键词:个性化联邦学习,余弦相似度,数据异构,模型聚合,恶意设备,
基金:国家自然科学基金资助项目(61604014);未来区块链与隐私计算高精尖项目(GJJ-23);北京信息科技大学“青年骨干教师”支持计划项目(YBT202450);;
传统联邦学习中经过加权聚合得到的全局模型无法应对跨客户端的数据异构的问题。现有研究通过形成个性化模型应对,但个性化模型如何平衡全局的共性信息和本地的个性信息是一个挑战。针对上述问题,提出了一种个性化联邦学习模型聚合框架FedPG(federated learning with personalized global model)。FedPG基于客户端模型的相似性,将归一化后的模型参数变化量的余弦相似度作为模型聚合的个性化权重,从而实现面向客户端的全局模型个性化聚合。通过引入平滑系数,该框架可以灵活地调整模型中共性信息和个性信息的比重。为了降低平滑系数的选择成本,进一步提出调度平滑系数的个性化联邦学习模型聚合框架FedPGS(federated learning with personalized global model and scheduled personalization) 。在实验中,FedPG和FedPGS两个框架使得FedAvg、FedProto、FedProx算法在特征分布偏移的数据集上的准确率平均提升1.20~11.50百分点,且使得模型的准确率受恶意设备的影响更小。结果表明,FedPG和FedPGS框架在数据异构和存在恶意设备干扰的情况下能有效提升模型的准确率和鲁棒性。
来源:2025年第1期
《计算机应用研究》期刊编辑部