计算机应用研究

作者：如先姑力·阿布都热西提,亚森·艾则孜,艾山·吾买尔,阿力木江·艾沙,

单位：1.新疆警察学院信息安全工程系,乌鲁木齐830013；2.新疆大学a.信息科学与工程学院;b.网络中心,乌鲁木齐830046；

关键词：维吾尔文论坛,文本过滤,N-gram统计模型,术语选择,Rocchio分类器,

基金：国家自然科学基金资助项目(61762086)；国家社会科学基金资助项目(13CFX055)；新疆维吾尔自治区高校科研计划重点项目(XJEDU2017M046)；；

针对维吾尔文网页论坛中的文本过滤问题，提出一种基于术语选择和Rocchio分类器的文本过滤方法。首先，将论坛文本进行预处理以删除无用词，并基于N-gram 统计模型进行词干（术语）提取；然后，提出一种均衡考虑相关性和冗余性的均衡型互信息术语选择方法（BMITS），对初始术语集合进行降维，获得精简术语集；最后，将文本特征术语作为输入，通过Rocchio分类器进行分类，以此过滤掉论坛中的不良文本。在相关数据集上的实验结果表明，提出的方法能够准确地识别出不良类型文本，具有有效性。

来源：2019年第3期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2019年第3期