计算机应用研究

作者：沈旭东,黄贤英,邹世豪,

单位：重庆理工大学计算机科学与工程学院,重庆400054；

关键词：对话情绪识别,有向无环图,近因效应,特征提取,多模态交互,

基金：国家自然科学基金资助项目(62141201)；重庆市自然科学基金资助项目(CSTB2022NSCQ-MSX1672)；重庆理工大学研究生教育高质量发展行动计划资助项目(gzlcx20223190,gzlcx20232067)；；

针对现有对话情绪识别方法中对时序信息、话语者信息、多模态信息利用不充分的问题，提出了一个时序信息感知的多模态有向无环图模型（MTDAG）。其中所设计的时序感知单元能按照时间顺序优化话语权重设置，并收集历史情绪线索，实现基于近因效应下对时序信息和历史信息更有效的利用；设计的上下文和话语者信息融合模块，通过提取上下文语境和话语者自语境的深度联合信息实现对话语者信息的充分利用；通过设置DAG（directed acyclic graph）子图捕获多模态信息并约束交互方向的方式，在减少噪声引入的基础上充分利用多模态信息。在两个基准数据集IEMOCAP和MELD的大量实验表明该模型具有较好的情绪识别效果。

来源：2024年第1期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2024年第1期