计算机应用研究

作者：罗红,陆海俊,陈娟娟,慎煜杰,王丹,

单位：1.中移(杭州)信息技术有限公司,杭州310000；2.西安电子科技大学综合业务网理论及关键技术国家重点实验室,西安710071；

关键词：图神经网络编码器,注意力机制,双层解码,对话生成,

情感对话系统的成功取决于语言理解、情感感知和表达能力，同时面部表情和个性等也能提供帮助。然而，尽管这些信息对于多轮情感对话至关重要，但是现有系统既未能够充分利用多模态信息的优势，又忽略了上下文相关性的重要性。为了解决这个问题，提出了一种基于双层解码的多轮情感对话生成模型（MEDG-DD）。该模型利用异构的图神经网络编码器将历史对话、面部表情、情感流和说话者信息进行融合，以获得更加全面的对话上下文。然后，使用基于注意力机制的双层解码器，以生成与对话上下文相关的富含情感的言辞。实验结果表明，该模型能够有效地整合多模态信息，实现更为准确、自然且连贯的情感话语。与传统的ReCoSa模型相比，该模型在各项评估指标上均有显著的提升。

来源：2024年第6期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2024年第6期