计算机应用研究

作者：刘卫明,崔瑜,毛伊敏,刘蔚,

单位：1.江西理工大学信息工程学院,江西赣州341000；2.赣南科技学院电子信息工程学院,江西赣州341000；

关键词：MapReduce框架,DRKCAE策略,UPS策略,并行聚类,MSSA算法,

基金：2020年度科技创新2030—“新一代人工智能”重大项目(2020AAA0109605)；国家自然科学基金资助项目(41562019)；；

针对大数据环境下并行K-means算法存在的面对高维数据聚类效果差、数据分区不均匀、初始质心敏感等问题，提出了一种基于MapReduce和MSSA的并行K-means算法MR-MSKCA。首先，提出基于肯德尔相关系数和深度稀疏自动编码器的降维策略（dimensionality reduction strategy based on Kendall correlation coefficient and DSAE，DRKCAE）对高维数据进行特征加权和特征提取，解决了高维数据不相关特征和结构稀疏导致的聚类效果差的问题；其次，提出基于两段映射的广义超平面分区策略 （uniform partition strategy based on two-stage mapping，UPS）对数据集进行划分，获取均匀的数据分区；最后提出非均匀变异麻雀搜索算法 （non-uniform mutation sparrow search algorithm，MSSA）用于获取并行K-means的聚类质心，解决了算法初始质心敏感的问题。在UCI数据集上进行的实验显示，MR-MSKCA较MR-KNMF、MR-PGDLSH、MR-GAPKCA的运行时间分别降低了45.1%、49.1%、59.8%，聚类效果分别提升了19.2%、22.8%、24%，表明 MR-MSKCA对大数据进行聚类时有良好性能，适用于不同场景的大数据聚类分析。

来源：2022年第11期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2022年第11期