计算机应用研究

作者：毛伊敏,刘绍芬,

单位：1.江西理工大学信息工程学院,江西赣州341000；2.韶关学院信息工程学院,广东韶关512026；

关键词：并行深度森林算法,Spark框架,邻域粗糙集,正弦余弦算法,多粒度扫描,

基金：广东省重点提升项目(2022ZDJS048)；韶关市科技项目(220607154531533)；科技创新2030-“新一代人工智能”重大项目(2020AAA0109605)；；

针对并行深度森林在大数据环境下存在冗余及无关特征过多、两端特征利用率过低、模型收敛速度慢以及级联森林并行效率低等问题，提出了基于Spark和NRSCA策略的并行深度森林算法——PDF-SNRSCA。首先，该算法提出了基于邻域粗糙集和Fisher score的特征选择策略（FS-NRS），通过衡量特征的相关性和冗余度，对特征进行过滤，有效减少了冗余及无关特征的数量；其次，提出了一种随机选择和等距提取的扫描策略（S-RSEE），保证了所有特征能够同概率被利用，解决了多粒度扫描两端特征利用率低的问题；最后，结合Spark框架，实现级联森林并行化训练，提出了基于重要性指数的特征筛选机制（FFM-II），筛选出非关键性特征，平衡增强类向量与原始类向量维度，从而加快模型收敛速度，同时设计了基于SCA的任务调度机制（TSM-SCA），将任务重新分配，保证集群负载均衡，解决了级联森林并行效率低的问题。实验表明，PDF-SNRSCA算法能有效提高深度森林的分类效果，且对深度森林并行化训练的效率也有大幅提升。

来源：2024年第1期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2024年第1期