计算机应用研究

作者：蔡明哲,王满利,窦泽亚,张长森,

单位：河南理工大学物理与电子信息学院,河南焦作454003；

关键词：场景文本,特征融合,语言模型,注意力机制,残差网络,

基金：国家自然科学基金资助项目(52074305)；河南省科技攻关项目(242102221006)；河南省研究生教育改革与质量提升工程资助项目(YJS2024AL026)；河南理工大学光电传感与智能测控河南省工程实验室开放基金资助项目(HELPSIMC-2020-00X)；；

为了解决自然场景文本图像因为遮挡、扭曲等原因难以识别的问题，提出基于多模态特征融合的场景文本识别网络（multimodal scene text recognition，MMSTR）。首先，MMSTR使用共享权重内部自回归的排列语言模型实现多种解码策略；其次，MMSTR在图像编码阶段提出残差注意力编码器（residual attention encoder，REA-encoder）提高了对浅层特征捕获能力，使得浅层特征能够传到更深的网络层，有效缓解了vision Transformer提取图像浅层特征不充分引起的特征坍塌问题；最后，针对解码过程中存在语义特征与视觉特征融合不充分的问题，MMSTR构建了决策融合模块（decision fusion module，DFM），利用级联多头注意力机制提高语义与视觉的融合程度。经过实验证明，MMSTR在IIIT5K、ICDAR13等六个公共数据集上平均词准确率达到96.6%。此外，MMSTR在识别遮挡、扭曲等难以识别的文本图像方面相较于其他的主流算法具有显著优势。

来源：2025年第4期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2025年第4期