计算机应用研究

作者：张红梅,潘守登,刘坷嘉,霍俊杰,杜瑞洋,韦宏毅,

单位：1.桂林电子科技大学信息与通信学院,广西桂林541010；2.桂林电子科技大学信息与通信学院认知无线电与信息处理教育部重点实验室,广西桂林541010；3.广西上善若水发展有限公司,南宁530029；

关键词：双阶段同构蒸馏,深度学习,初始化剪枝,知识蒸馏,模型压缩,

基金：广西区重点研发计划项目及系统(桂科AB23075114)；广西区自然科学基金重点项目(2020GXNSFDA238001)；；

针对深度神经网络在初始化剪枝中存在表征退化与精度下降的问题，提出一种双阶段同构蒸馏框架（dual-stage homogeneous distillation，DHD），以实现高效稀疏建模。该方法包括同构自蒸馏（homogeneous selfdistillation，HSD）阶段和稀疏感知温度耦合（sparsity-aware temperature coupling mechanism，SATC）阶段。HSD阶段采用参数镜像初始化策略，构建拓扑对称的学生网络，通过自蒸馏优化增强参数平滑性及模型性能；SATC阶段通过动态调整教师模型中正确类与错误类的蒸馏温度，实现知识迁移强度与剪枝率的自适应匹配。在CIFAR-10、Tiny-ImageNet和ImageNet数据集上的实验表明，该方法在91.4%的剪枝率下仍能保持较高精度，显著优于SNIP、GraSP等方法。提出的DHD框架有效缓解了高剪枝率下的表征退化问题，提升了稀疏子网的性能与鲁棒性，为边缘设备部署提供了可行的模型压缩方案。

来源：2026年第3期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2026年第3期