计算机应用研究

作者：王健,赵小明,王成龙,张石清,赵舒畅,

单位：1.杭州电子科技大学计算机学院,杭州310018；2.台州学院智能信息处理研究所,浙江台州318000；

关键词：多模态情感识别,层次化融合,多尺度融合,特征融合,

基金：国家自然科学基金资助项目(62276180)；；

多模态情感识别近年来成为情感计算领域的重要研究方向，旨在通过融合语音、文本等多种模态以更精确地识别和理解人类情感状态。然而，现有方法在提取特征时缺乏模态间的关联性处理以及融合特征时忽视多尺度情感线索。为了解决上述问题，提出一种基于深度特征交互与层次化多模态融合的情感识别模型（DFIHMF）。在特征提取阶段，该模型通过引入本地知识令牌（local knowledge token，LKT）与跨模态交互令牌（cross-modal interaction token，CIT）来增强不同模态之间的交互并提取多尺度信息。在特征融合阶段，该模型利用层次化融合策略来融合模态间复杂的多模态特征与多尺度情感线索。在MOSI与MOSEI数据集上的实验结果显示，该模型在ACC7评价指标上的准确率分别达45.6%和53.5%，证明了所提方法在多模态情感识别任务上优于现有技术。

来源：2025年第7期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2025年第7期