计算机应用研究

作者：沈学利,盛方严,

单位：辽宁工程技术大学a.电子与信息工程学院;b.研究生院,辽宁葫芦岛125105；

关键词：Hadoop,异构资源,节点能力,自适应,

基金：国家自然科学基金资助项目(61602227)；；

为了解决当前Hadoop集群在异构资源环境下固有的调度分配方法的不足，提出了一种基于节点能力的自适应调度算法NCAS（node capacity adaptive scheduling）。首先，NCAS算法根据节点性能、任务特征计算得到调度因子；然后，由调度因子确定各节点应分得的数据量与任务槽数；最后，将数据和任务多分给快节点同时少分给慢节点。实验结果表明，与传统的调度算法相比，NCAS算法大幅度减少了备份任务的启动数量，明显减少了作业完成时间，提升了任务执行效率。

来源：2020年第2期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2020年第2期