计算机应用研究

作者：曹云鹏,王海峰,刘海涛,何淑庆,

单位：1.临沂大学信息科学与工程学院,山东临沂276000；2.临沂大学研究所山东省网络环境智能计算技术重点实验室,山东临沂276000；

关键词：数据通信优化,MapReduce,软件定义网络,协同数据映射,

基金：山东省自然科学基金面上项目(ZR2017MF050)；山东省高等学校科学技术计划项目(J17KA049)；山东省重点研发项目(2019GGX1005,2018GGX101005,2017CXGC0701,2016GGX109001)；；

为了优化大规模集群运行MapReduce作业时的通信效率和减少shuffle数据传输量，首先采用存储局部性换取通信局部性的策略建立一个分布式协同数据映射模型；其次通过随机抽样和机器学习方法来提取作业数据的局部性特征，实现map计算数据的有效部署；最后，利用软件定义网络的全局灵活控制能力，优选通信链路好的节点并将计算任务映射到该类节点中。实验表明对于中间数据混洗密集类作业有较好的优化效果，通信延迟降低了4.3%~5.8%。该方案能减少shuffle流量和数据迁移延迟，并且适合各种调度策略和网络拓扑结构。

来源：2020年第4期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2020年第4期