计算机应用研究

作者：周勤,范永胜,桑彬彬,何攀,

单位：重庆师范大学计算机与信息科学学院,重庆401331；

关键词：知识蒸馏,模型压缩,图像分类,注意力机制,特征融合,

基金：国家自然科学基金青年科学基金项目(62306054)；重庆师范大学研究生科研创新资助项目(YKC23022)；；

现有的知识蒸馏技术主要集中于知识表示、目标损失函数和蒸馏位置的选择，而忽视了特征对齐和融合的重要性，从而限制了学生模型的学习能力。为此，提出了一种基于双路径投影层和注意力机制的知识蒸馏方法。该方法首先在空间维度上对齐学生和教师模型的特征，通过双路径投影层在通道维度上对齐师生特征。同时，添加一个集成注意力机制的适配器模块，以确保多尺度特征的均衡融合。采用轻量并行化注意力机制进行深层次的特征融合，并利用教师模型的判别分类器进行推理。在CIFAR-100和Tiny-ImageNet数据集上进行实验验证，结果显示相比于基线学生模型，WRN-40-1模型在CIFAR-100数据集上的top-1准确率提高了5.85百分点，ResNet-10模型在Tiny-ImageNet数据集上的top-1准确率提高了8.09百分点。实验结果表明，该方法能够有效提升学生模型的学习能力，证明了特征对齐和融合在知识蒸馏中的重要作用。

来源：2025年第2期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2025年第2期