计算机应用研究

作者：赵婧,邵雄凯,刘建舟,王春枝,

单位：湖北工业大学计算机学院,武汉430068；

关键词：文本分类,特征选择,分散度,集中度,频度,

基金：国家自然科学基金面上资助项目(61772180)；；

针对文本分类中传统特征选择方法卡方统计量和信息增益的不足进行了分析，得出文本分类中的特征选择关键在于选择出集中分布于某类文档并在该类文档中均匀分布且频繁出现的特征词。因此，综合考虑特征词的文档频、词频以及特征词的类间集中度、类内分散度，提出一种基于类内类间文档频和词频统计的特征选择评估函数，并利用该特征选择评估函数在训练集每个类别中选取一定比例的特征词组成该类别的特征词库，而训练集的特征词库则为各类别特征词库的并集。通过基于SVM的中文文本分类实验表明，该方法与传统的卡方统计量和信息增益相比，在一定程度上提高了文本分类的效果。

来源：2019年第8期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2019年第8期