计算机应用研究

作者：张弛,刘宏哲,

单位：北京联合大学a.北京市信息服务工程重点实验室;b.机器人学院,北京100101；

关键词：神经网络,深度学习,目标检测,知识蒸馏,注意力迁移,

基金：国家自然科学基金资助项目(61871039,61906017,61802019)；北京市教委项目(KM202111417001,KM201911417001)；视觉智能协同创新中心项目(CYXC2011)；北京联合大学学术研究项目(ZB10202003,ZK80202001,XP202015,BPHR2019AZ01)；；

目前深度神经网络模型需要部署在资源受限的环境中，故需要设计高效紧凑的网络结构。针对设计紧凑的神经网络提出一种基于改进注意力迁移的模型压缩方法（KE），主要使用一个宽残差教师网络（WRN）指导一个紧凑的学生网络（KENet），将空间和通道的注意力迁移到学生网络来提升性能，并将该方法应用于实时目标检测。在CIFAR上的图像分类实验验证了经过改进注意力迁移的知识蒸馏方法能够提升紧凑模型的性能，在VOC上的目标检测实验验证了模型KEDet具有很好的精度（72.7 mAP）和速度（86 fps）。实验结果充分说明基于改进注意力迁移的目标检测模型具有很好的准确性和实时性。

来源：2021年第4期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2021年第4期