计算机应用研究

作者：徐玺,王海荣,王彤,马赫,

单位：北方民族大学a.计算机科学与工程学院;b.图像图形智能处理国家民委重点实验室,银川750021；

关键词：多模态命名实体识别,多模态表示,多模态融合,多任务学习,命名实体识别,

基金：宁夏自然科学基金资助项目(2023AAC03316)；北方民族大学中央高校基本科研业务费专项资金资助项目(2022PT_S04)；；

为了解决多模态命名实体识别方法中存在的图文语义缺失、多模态表征语义不明确等问题，提出了一种图文语义增强的多模态命名实体识别方法。其中，利用多种预训练模型分别提取文本特征、字符特征、区域视觉特征、图像关键字和视觉标签，以全面描述图文数据的语义信息；采用Transformer和跨模态注意力机制，挖掘图文特征间的互补语义关系，以引导特征融合，从而生成语义补全的文本表征和语义增强的多模态表征；整合边界检测、实体类别检测和命名实体识别任务，构建了多任务标签解码器，该解码器能对输入特征进行细粒度语义解码，以提高预测特征的语义准确性；使用这个解码器对文本表征和多模态表征进行联合解码，以获得全局最优的预测标签。在Twitter-2015和Twitter-2017基准数据集的大量实验结果显示，该方法在平均F1值上分别提升了1.00%和1.41%，表明该模型具有较强的命名实体识别能力。

来源：2024年第6期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2024年第6期