计算机应用研究

作者：任钦泽,袁野,傅柯婷,付军秀,徐康,刘娜,

单位：上海理工大学a.机器智能研究院;b.健康科学与工程学院,上海200093；

关键词：多模态情绪感知,图神经网络,超复数数系,成对特征融合,对话情绪感知,

基金：主动健康服务数智化技术区域综合应用示范(2023YFC3605800)；；

在主动健康领域，多模态情绪感知技术对于监测个人健康和提供医疗陪护具有重要意义。然而，当前多模态对话情绪感知技术在融合不同模态信息时面临挑战，尤其是在捕捉模态间的局部关系方面。为此，提出了一种基于特性分流的多模态融合算法MEPAD。该算法利用图神经网络捕捉对话的全局信息，并引入超复数数系和成对特征融合机制，分别提取多模态数据的同质性与特异性特征。实验结果表明，MEPAD在IEMOCAP和MOSEI数据集上的多模态对话情绪感知任务中显著优于现有方法，证明了其在处理复杂情感数据方面的有效性和潜力。该研究为多模态情绪感知技术在主动健康领域的应用提供了新的思路。

来源：2025年第6期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2025年第6期