计算机应用研究

作者：陈帅良,田彦山,董力鸣,段晓英,李佳辉,

单位：宁夏师范大学数学与计算机科学学院,宁夏固原756099；

关键词：高效调优,统一架构,目标检测,图像分类,

基金：国家自然科学基金资助项目(62262054)；宁夏自然科学基金资助项目(2018BEE03025,2018BEE03026)；宁夏重点研发计划资助项目(2023BEG02072)；；

为解决大规模参数调优问题，一系列高效微调方法诞生，但是在整合不同高效微调方法形成有效统一整体方面还存在挑战。此外，统一调优思想在视觉任务中的应用仍然不足。因此，提出统一参数高效微调架构ETTA（efficient Transformer tuning architecture）。首先通过适配器与前缀调优工作原理的相似性，得出两种方法整合形成统一调优架构的合理性；其次，在适配器选择上，选用效果更好的并行适配器，同时对前缀调优引入可调标量得到缩放前缀调优变体；然后将两种方法整合形成统一调优架构ETTA，把并行适配器作用于Transformer前馈神经网络层并设置较大瓶颈维数，缩放前缀调优作用于多头注意力层并设置较小可调前缀向量数；最后将ETTA用于6个图像分类或目标检测任务，并与三种调优策略进行性能比较。结果表明，采用统一参数高效调优架构后，只对少量参数进行微调就可以接近参数完全微调的效果同时性能良好。证明了ETTA用于计算机视觉任务的有效性及其性能表现。

来源：2025年第3期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2025年第3期