计算机应用研究

作者：李凡凡,张垣垣,章永龙,朱俊武,

单位：扬州大学信息工程学院,江苏扬州225100；

关键词：视听分割,多模态,对比学习,注意力机制,

基金：国家自然科学基金资助项目(61872313)；；

视听分割是根据图片和声音定位并精准分割图片中的发声对象。虽然目前大多数研究工作主要侧重于探索视听信息融合方法，但对于视听细粒度挖掘不够深入，特别是在对齐连续音频特征与空间像素级信息方面。因此，提出了基于对比学习的视听分割注意力融合方法（AVSAF）。首先，该方法采用多头交叉注意力机制和记忆token构建视/听觉token融合模块，以减少多模态信息的损失。其次，引入对比学习缩小视听差异，增强视觉和听觉特征的对齐能力，并通过双层解码器解码，实现对目标位置的准确预测与分割。最后，在AVSBench-object数据集的S4和MS3子数据集上进行大量实验验证，其J值分别提高了3.04和4.71百分点，F值分别提高了2.4和3.5百分点，充分证明了该方法在视听分割任务中的有效性。

来源：2025年第6期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2025年第6期