计算机应用研究

作者：田雨乐,王一丁,

单位：北方工业大学信息学院,北京100144；

关键词：情感识别,视觉语言模型,情境感知,多模态融合,

基金：国家自然科学基金资助项目(62276018)；；

基于上下文背景识别图像中人物情感是近年来越来越受欢迎的一项任务，在许多领域都具有应用价值。现有的大部分方法只是分别编码人物主体与背景，提取出孤立的特征进行简单交互，缺乏有效的主体与上下文背景的特征融合机制，为了解决复杂背景与人物主体的交互关系问题，提出了一种基于图文对比融合的图像人物情感识别网络。首先充分利用视觉语言大模型广泛的社会背景信息与推理能力，设计提示词提取上下文背景与目标人物主体之间情感状态的文本描述；其次提出了一个图文对比融合模块，将裁剪出的目标人物主体图像特征和依据提示词获取的文本描述特征通过该模块进行融合；最后，融合算法引入对比损失函数，对图像编码和文本编码统一表示，在融合时可以更准确地捕捉到有效的情感表达。实验结果表明，该网络能够学习到更有效的情感特征表示，在EMOTIC数据集上取得了优越的结果，mAP达到37.30%。该方法更好地结合了图像人物与背景特征，提高了图像人物情感识别的准确率。

来源：2025年第7期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2025年第7期