计算机应用研究

作者：刘思婷,徐艳丽,

单位：上海海事大学信息工程学院,上海201306；

关键词：多模态命名实体识别,分层门控,跨模态对齐,对比监督,

基金：国家自然科学基金资助项目(62271303)；中国上海市教育委员会创新计划资助项目(2021-01-07-00-10-E00121)；上海自然科学基金会资助项目(20ZR1423200)；；

多模态命名实体识别任务在深层跨模态交互和实体级对齐监督方面仍存在不足，使得模型难以充分利用图文间的细粒度语义关联。针对这一问题，提出一种融合分层门控机制与双重对比监督的多模态命名实体识别模型 HCMCL。该模型首先引入双向状态空间结构，以增强文本序列和视觉区域特征的长程依赖建模能力；其次，设计多层次跨模态门控结构自适应调节视觉信息在不同语义层级的注入方式，实现细粒度跨模态特征融合；为进一步解决图文弱对齐问题，构建句子级与实体级双重对比监督策略，显式约束模态对齐。实验结果显示，HCMCL在Twitter-2015和Twitter-2017数据集上分别取得76.88%和87.96%的F1值，显著优于当前主流多模态方法，消融实验也验证了各模块的有效性。研究表明，所提方法能有效增强跨模态语义关联的学习能力，提高复杂图文场景下的实体识别性能。

来源：2026年第5期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2026年第5期