国内刊号:51-1196/TP
国际刊号:1001-3695
发布日期:
作者:曾浩,詹恩奇,郑建彬,汪阳,
单位:武汉理工大学信息工程学院光纤传感技术与信息处理教育部重点实验室,武汉430070;
关键词:未登录词,扩展规则,词频,互信息,邻接熵,
为提高各行业领域未登录词识别效果,提出一种基于扩展规则与统计特征的未登录词识别方法。分析行业领域未登录词构词特点,制定扩展规则,根据扩展规则对分词项进行扩展得到复合词,通过词频、互信息、邻接熵等统计特征判别复合词是否为未登录词。若为未登录词,则对其继续扩展和识别。六个行业领域和通用领域未登录词识别实验结果表明,提出的方法取得了较好的未登录词识别效果,具有较好的移植性。
来源:2019年第9期
《计算机应用研究》期刊编辑部