计算机应用研究

作者：刘卫明,陈伟达,毛伊敏,陈志刚,

单位：1.江西理工大学a.信息工程学院;b.资源与环境工程学院,江西赣州341000；2.中南大学计算机学院,长沙410083；

关键词：大数据,MapReduce,并行随机森林,增益率,堆叠自编码器,

基金：2020年度科技创新2030—“新一代人工智能”重大项目(2020AAA0109605)；国家自然科学基金资助项目(41562019)；；

针对大数据环境下随机森林算法存在冗余与不相关特征过多、特征子空间信息含量不足以及并行化效率低等问题，提出了结合增益率与堆叠自编码器的并行随机森林算法PRFGRSAE（parallel random forest algorithm combining gain ratio and stacked auto encoders）。首先，提出了结合非线性归一化增益率和堆叠自编码器的降维策略DRNGRSAE（dimension reduction combining nonlinear normalization gain ratio and stacked auto encoders），通过过滤特征集中的冗余和不相关特征，并利用堆叠自编码器提取特征，有效减少了冗余以及不相关特征数；其次，提出了结合拉丁超立方抽样与归一化相关度的子空间选择策略SSLF（subspace selection strategy combining Latin hypercube sampling and feature class correlation），通过对特征集进行多层划分抽样，形成空间表达度较高的特征子空间，有效保证了特征子空间的信息含量；最后，提出结合可变动作学习自动机的reducer分配策略DSVLA（distribution strategy based on variable-action learning automata），使每个数据簇均匀分配到reducer进行处理，有效提高了并行化效率。实验结果表明，PRFGRSAE算法的加速比与准确度较IMRF、KSMRF和GAPRF算法都有显著提升，因此该算法应用于大数据处理，特别对包含较多特征的数据集有更高的精准度和并行效率。

来源：2023年第3期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2023年第3期