计算机应用研究

作者：王芸,尹来国,宋梦柯,

单位：青岛大学计算机科学技术学院,山东青岛266071；

关键词：音视显著性检测,多流网络,视频分支,融合策略,

基金：国家自然科学基金资助项目(61802215)；；

音视显著性检测方法采用的双流网络结构，在音视信号不一致时，双流网络的音频信息对视频信息产生负面影响，削弱物体的视觉特征；另外，传统融合方式忽视了特征属性的重要程度。针对双流网络的问题进行研究，提出了一种基于视觉信息补偿的多流音视显著性算法（MSAVIC）。首先，在双流网络的基础上增加单独的视频编码分支，保留视频信号中完整的物体外观和运动信息。其次，利用特征融合策略将视频编码特征与音视频显著性特征相结合，增强视觉信息的表达，实现音视不一致情况下对视觉信息的补偿。理论分析和实验结果表明，MSAVIC在四个数据集上超过其他方法2%左右，在显著性检测方面具有较好的效果。

来源：2022年第7期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2022年第7期