计算机应用研究

作者：廖彬,张陶,于炯,黄静莱,国冰磊,刘炎,

单位：1.新疆财经大学统计与数据科学学院,乌鲁木齐830012；2.新疆大学信息科学与工程学院,乌鲁木齐830008；3.清华大学软件学院,北京100084；

关键词：MapReduce优化,ItemBased算法,内存文件系统,I/O效率,资源优化,

基金：新疆维吾尔自治区自然科学基金资助项目(2016D01B014)；；

由于任意的MapReduce作业都需要独立地进行任务调度、资源分配等一系列复杂的操作，这使得同一算法协同的多个MapReduce作业之间，存在着大量的冗余磁盘I/O及资源重复申请操作，导致计算过程中资源利用效率低下。大数据挖掘类算法通常被切分成多个MapReduce job协作完成。以ItemBased算法为例，对多MapReduce作业协同下的大数据挖掘算法存在的资源效率问题进行了分析，提出基于DistributedCache的ItemBased算法，利用DistributedCache将多个MapReduce job之间的I/O数据进行缓存处理，打破作业之间独立性的缺陷，减少map与reduce任务之间的等待时延。实验结果表明，DistributedCache能够提高MapReduce作业的数据读取速度，利用DistributedCache重构后的算法极大地减少了map与reduce任务之间的等待时延，资源效率提高3倍以上。

来源：2020年第5期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2020年第5期