计算机应用研究

作者：应旭剑,朱艳辉,陈豪,满芳滕,张志轩,

单位：湖南工业大学a.计算机与人工智能学院;b.轨道交通学院,湖南株洲412007；

关键词：多模态命名实体识别,多模态融合,多粒度,渐进式融合,命名实体识别,

基金：国家自然科学基金资助项目(52272347)；湖南省自然科学基金资助项目(2025JJ70071)；湖南省教育厅重点资助项目(22A0408)；；

为解决现有多模态命名实体识别方法中存在的细粒度语义缺失和多模态语义表征不一致等问题，提出了一种基于多粒度渐进式融合的多模态命名实体识别方法。首先，设计了动态门控过滤机制，通过跨模态动态权重筛选与文本特征相关的视觉区域特征，并引入跨模态对齐与对抗扰动机制，增强文本特征与视觉全局特征的一致性和泛化能力；其次，设计了一种多层次渐进式融合网络，通过融合不同层次的特征向量，采用多级融合策略，并联融合文本级、文本-区域图像级、文本-全局图像级三个层级特征，成功构建一个噪声抑制与语义增强并行的多粒度表征学习体系。在Twitter-2015和Twitter-2017基准数据集上进行大量实验显示，该方法与其他的多模态命名实体识别方法相比，平均F1值分别提升0.89%和1.08%，表明该模型在命名实体识别任务中的有效性。

来源：2025年第10期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2025年第10期