声明
严正声明：本站非期刊官网，非中介代理。
本站仅提供学术规范服务：快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。
国内刊号：51-1196/TP
国际刊号：1001-3695
发布日期:
作者：臧艳辉,赵雪章,席运江,
单位：1.佛山职业技术学院,广东佛山528137；2.华南理工大学,广州510641；
关键词：文本分类,MapReduce,Spark框架,分布式,朴素贝叶斯分类器,机器学习,
基金：国家自然科学基金资助项目(71371077)；佛山市科技计划项目(2015AB004241)；；
针对现有面向大数据的计算框架在可扩展性机器学习研究中面临的挑战，提出了基于MapReduce和Apache Spark框架的分布式朴素贝叶斯文本分类方法。通过研究MapReduce和Apache Spark框架的适应性来探索朴素贝叶斯分类器（NBC），并研究了现有面向大数据的计算框架。首先，基于朴素贝叶斯文本分类模型将训练样本数据集分为m类；进一步在训练阶段中，将前一个MapReduce的输出作为后一个MapReduce的输入，采用四个MapReduce作业得出模型。该设计过程充分利用了MapReduce的并行优势，最后在分类器测试时取出最大值所属的类标签值。在Newgroups数据集进行实验，在所有五类新闻数据组上的分类都取得了99%以上的结果，并且均高于对比算法，证明了提出方法的准确性。
来源：2019年第12期
《计算机应用研究》期刊编辑部
严正声明：本站非期刊官网，非中介代理。
本站仅提供学术规范服务：快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。