计算机应用研究

作者：秦传东,杨旭,

单位：1.北方民族大学数学与信息科学学院,银川750021；2.宁夏智能信息与大数据处理重点实验室,银川750021；

关键词：随机梯度下降法,小批量算法,Barzilai-Borwein方法,方差缩减,凸优化,

基金：宁夏自然科学基金一般项目(2021AAC03230)；；

为了更好地应对当今时代的大规模高维稀疏数据集，融合BB方法、小批量算法与随机方差缩减梯度法（SVRG）优势，提出一种带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法（MSSVRG-R2BB）。首先，在SVRG外循环中全梯度计算的基础上加入L1范数次梯度设计出一种稀疏近似梯度用于内循环，得到一种稀疏的SVRG算法（SSVRG）。在此基础上，在小批量的稀疏随机方差缩减梯度法中使用随机选取的改进BB方法自动计算、更新步长，解决了小批量算法的步长选取问题，拓展得到MSSVRG-R2BB算法。数值实验表明，在求解大规模高维稀疏数据的线性支持向量机（SVM）问题时，MSSVRG-R2BB算法不仅可以减小运算成本、更快达到收敛上界，同时能达到与其他先进的小批量算法相同的优化水平，并且对于不同的初始参数选取表现稳定且良好。

来源：2023年第12期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2023年第12期