计算机应用研究

作者：黄健,李锋,

单位：上海浦东发展银行股份有限公司创新实验室,上海200001；

关键词：对话系统,口语语言理解,预训练语言模型,意图识别,实体识别,

口语语言理解是任务式对话系统的重要组件，预训练语言模型在口语语言理解中取得了重要突破，然而这些预训练语言模型大多是基于大规模书面文本语料。考虑到口语与书面语在结构、使用条件和表达方式上的明显差异，构建了大规模、双角色、多轮次、口语对话语料，并提出融合角色、结构和语义的四个自监督预训练任务：全词掩码、角色预测、话语内部反转预测和轮次间互换预测，通过多任务联合训练面向口语的预训练语言模型SPD-BERT（spoken dialog-BERT）。在金融领域智能客服场景的三个人工标注数据集——意图识别、实体识别和拼音纠错上进行详细的实验测试，实验结果验证了该语言模型的有效性。

来源：2022年第8期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2022年第8期