计算机应用研究

作者：张天舒,刘凡,戴雯雯,高瑞琢,

单位：河海大学计算机与信息学院,南京211100；

关键词：细粒度分类,多模态融合,相关性学习,

基金：装备预研教育部联合基金资助项目；信息系统需求重点实验室开放基金资助项目(LHZZ2021-M04)；水下机器人技术重点实验室研究基金资助项目(2021JCJQ-SYSJJ-LB06905)；；

针对单模态细粒度分类方法难以区分图像间细微差异的问题，将多模态融合方法引入到细粒度分类任务中，充分利用多模态数据的相关性和互补性，提出了一种基于模态相关性学习的细粒度分类方法。该方法分为两个阶段，首先考虑到图像和文本数据之间的对应关系，利用它们的匹配程度作为约束来进行模型的预训练；接着，加载上一步得到的网络参数，先提取多模态特征，再利用文本特征指导图像特征的生成；最后，基于融合后的特征进行细粒度分类。该方法在UPMC-Food101、MEP-3M-MEATS和MEP-3M-OUTDOORS数据集上进行训练测试，分别达到91.13%、82.39%和93.17%的准确率。实验结果表明，该方法相对于传统的多模态融合方法具有更好的性能，是一种有效的细粒度分类方法。

来源：2023年第11期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2023年第11期