国内刊号:51-1196/TP
国际刊号:1001-3695
发布日期:
作者:张航,张欣,张平康,李琪,
单位:贵州大学大数据与信息工程学院,贵阳550025;
关键词:大数据,频繁项集,MapReduce,增量更新,频繁项超度量树,
基金:国家国际科技合作专项项目(2014DFA00670);贵州省研究生教育教学改革重点课题项目(黔教研合JG字[2016]15);贵州省科技厅工业攻关项目(黔科合GY字[2010]3056);;
针对目前大数据快速增加的环境下,海量数据的频繁项集挖掘在实际中所面临的增量更新问题,在频繁项超度量树算法(frequent items ultrametric trees,FIUT)的基础上,引入MapReduce并行编程模型,提出了一种针对频繁项集增量更新的面向大数据的并行算法。该算法通过检查频繁超度量树叶子节点的支持度来确定频繁项集,同时采用准频繁项集的策略来优化并行计算过程,从而提高数据挖掘效率。实验结果显示,所提出的算法能快速完成扫描和更新数据,具有较好的可扩展性,适合于在动态增长的大数据环境中进行关联规则相关数据挖掘。
来源:2019年第7期
《计算机应用研究》期刊编辑部