计算机应用研究

作者：郑剑,沈士涛,于祥春,庞庆威,吴宗錝,

单位：江西理工大学信息工程学院,江西赣州341000；

关键词：图像处理,深度学习,基于文本的实例分割,多模态特征,特征融合,注意力机制,

基金：江西省教育厅科学技术研究项目(GJJ190468)；；

局部特征信息在图像分割中扮演着重要角色，然而基于文本的实例分割任务具有对输入文本表达式的依赖性，无法直接从原始的输入图像中提取局部特征信息。针对这一问题，提出了一种具体的名词引导局部特征提取的深度神经网络模型（NgLFNet），NgLFNet模型可根据输入文本表达式中的关键名词来自动挖掘待分割对象的局部特征信息。具体地，该模型首先通过语句分析得到关键名词；其次通过文本和图像编码器提取相应特征，并利用关键名词通过多头注意力机制获取高关注区域局部特征；然后逐步融合多模态特征；最后在解码修正模块利用得到的局部特征对预测掩膜进行更细致的修正，从而得到最终结果。将该方法与多种主流基于文本的实例分割方法进行对比，实验结果表明该方法提升了分割效果。

来源：2023年第4期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2023年第4期