计算机应用研究

作者：宁培阳,史景伦,张荣锋,邱威,

单位：华南理工大学电子与信息学院,广州510640；

关键词：视频转文字,深度双向模型,哈尔特征,特征融合,卷积神经网络,

基金：国家自然科学基金资助项目(61671213)；广州市人体数据科学重点实验室基金资助项目(201605030011)；；

自动生成视频的自然语言描述是一个非常具有挑战性的研究热点。基于深度BLSTM模型和CNN特征的方法，能够学习到视频序列的全局时空关联信息。针对视频转文字时面临的准确率低以及计算复杂度高的问题，提出了深度BMGU模型，从而在保持深度BLSTM模型结构优势的同时提高计算效率；还将原始视频帧的CNN特征与经过Haar特征预处理后的视频的CNN特征进行后期融合，从而增加了训练特征的多样性，进而提升了视频转自然语言的实验效果。在M-VAD和MPII-MD数据集中，相对原S2VT模型，所提方法分别将METEOR分数从6.7和7.1提高到8.0和8.3。结果表明所提方法有效地改善了原S2VT模型的准确率和语言描述效果。

来源：2020年第1期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2020年第1期