计算机应用研究

作者：亚森·艾则孜,艾山·吾买尔,阿力木江·艾沙,

单位：1.新疆警察学院信息安全工程系,乌鲁木齐830011；2.新疆大学a.信息科学与工程学院;b.网络中心,乌鲁木齐830046；

关键词：维吾尔语文档,相似度,剽窃检测,文档hash指纹,分级匹配,

基金：国家自然科学基金资助项目(61762086,61662077,61363064)；国家社会科学基金资助项目(13CFX055)；新疆维吾尔自治区高校科研计划项目(XJEDU2016I052,XJEDU2017M046)；；

针对以维吾尔语书写的文档间的相似性计算及剽窃检测问题，提出了一种基于内容的维吾尔语剽窃检测（U-PD）方法。首先，通过预处理阶段对维吾尔语文本进行分词、删除停止词、提取词干和同义词替换，其中提取词干是基于n-gram 统计模型实现；然后，通过BKDRhash算法计算每个文本块的hash值并构建整个文档的hash指纹信息；最后，根据hash指纹信息，基于RKR-GST匹配算法在文档级、段落级和句子级将文档与文档库进行匹配，获得文档相似度，以此实现剽窃检测。通过在维吾尔语文档中的实验评估表明，提出的方法能够准确检测出剽窃文档，具有可行性和有效性。

来源：2019年第6期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2019年第6期