计算机应用研究

作者：朱家扬,蒋林,李远成,宋佳,刘帅,

单位：西安科技大学a.通信与信息工程学院;b.计算机科学与技术学院;c.电气与控制工程学院,西安710600；

关键词：卷积神经网络,数据量化,可重构结构,并行映射,加速比,

基金：科技创新2030-“新一代人工智能”重大项目(2022ZD0119005)；国家自然科学基金重点资助项目(61834005)；；

针对卷积神经网络（CNN）模型中大量卷积操作，导致网络规模大幅增加，从而无法部署到嵌入式硬件平台，以及不同粒度数据与底层硬件结构不协调导致计算效率低的问题，基于项目组开发的可重构阵列处理器，面向支持多种位宽的运算单元，通过软硬件协同和可重构计算方法，采用KL（Kullback-Leibler）散度自定义量化阈值和随机取整进行截断处理的方式，寻找参数定长的最佳基点位置，设计支持多种计算粒度并行操作的指令及其卷积映射方案，并以此实现三种不同位宽的动态数据量化。实验结果表明，将权值与特征图分别量化到8 bit可以在准确率损失2%的情况下将模型压缩为原来的50%左右；将测试图像量化到三种位宽下进行硬件测试的加速比分别达到1.012、1.273和1.556，最高可缩短35.7%的执行时间和降低56.2%的访存次数，同时仅带来不足1%的相对误差，说明该方法可以在三种量化位宽下实现高效率的神经网络计算，进而达到硬件加速和模型压缩的目的。

来源：2024年第4期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2024年第4期