计算机应用研究

作者：胡健,徐锴滨,毛伊敏,

单位：1.江西理工大学信息工程学院,江西赣州343100；2.江西理工大学应用科学学院信息工程系,江西赣州341000；

关键词：大数据,密度聚类算法,KD树,果蝇优化,

基金：国家重点研发计划资助项目(2018YFC1504705)；国家自然科学基金资助项目(41562019)；江西省教育厅科技项目(GJJ151528,GJJ151531)；；

针对大数据下密度聚类算法中存在的数据划分不合理、参数寻优能力不佳、并行性能较低等问题，提出一种基于IFOA的并行密度聚类算法（density-based clustering algorithm by using improve fruit fly optimization based on MapReduce，MR-DBIFOA）。首先，该算法基于KD树，提出网格划分策略（divide gird based on KD tree，KDG）来自动划分数据网格；其次在局部聚类中，提出基于自适应搜索策略（step strategy based on knowledge learn，KLSS）和聚类判定函数（clustering criterion function，CCF）的果蝇群优化算法（improve fruit fly optimization algorithm，IFOA）；然后根据IFOA进行局部聚类中最优参数的动态寻优，从而使局部聚类的聚类效果得到提升；同时结合MapReduce模型提出局部聚类算法DBIFOA（density-based clustering algorithm using IFOA）；最后提出了基于QR-tree的并行合并局部簇算法（cluster merging algorithm by using MapReduce，MR-QRMEC），实现局部簇的并行合并，使算法整体的并行性能得到加强。实验表明，MR-DBIFOA在大数据下的并行效率更高，且聚类效果更好。

来源：2021年第5期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2021年第5期