计算机应用研究

作者：王礼乐,刘渊,

单位：1.江南大学人工智能与计算机学院,江苏无锡214122；2.江苏省媒体设计与软件技术重点实验室,江苏无锡214122；

关键词：知识蒸馏,知识迁移,模型压缩,深度学习,图像分类,

基金：国家自然科学基金资助项目(61972182)；；

知识蒸馏算法对深度神经网络的精简具有很大的推动作用。当前基于特征的知识蒸馏算法或只关注单个部分进行改进，忽视了其他有益部分，或是对小模型应重点关注的部分提供有效指导，这使得蒸馏的效果有所欠缺。为了充分利用大模型的有益信息并处理，以提升小模型知识转换率，提出一种新型蒸馏算法。该算法首先使用条件概率分布对大模型中间层进行特征空间分布拟合，提取拟合后趋于相似的空间注意力图，将其与其他有益信息一起，通过用于缩小模型间差距的小型卷积层，将转换后的信息传递给小模型，实现蒸馏。实验结果表明，该算法具有多师生组合适用性与多数据集通用性，相比于当前较为先进的蒸馏算法，性能提升约1.19%，用时缩短0.16 h。对大型网络的优化与深度学习部署在低资源设备上的应用具有重要的工程意义与广泛的应用前景。

来源：2024年第6期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2024年第6期