计算机应用研究

作者：熊安萍,段杭彪,蒋亚雄,

单位：重庆邮电大学计算机科学与技术学院,重庆400065；

关键词：实时计算,Storm,最佳并行度,贪心策略,调度算法,

基金：重庆市教委科学技术研究项目(KJ1400414)；重庆邮电大学博士启动基金资助项目(A2015-17)；重庆邮电大学自然科学基金资助项目(A2011-29)；；

开源分布式实时计算框架Storm在互联网、金融、电子商务等领域得到了广泛应用。Storm默认采用轮询的调度策略，且依赖用户对topology任务的并行度配置，当配置不合理时依然会造成topology处理时延增大、吞吐量降低等问题。针对该问题，提出了一种Storm下基于最佳并行度的贪心调度算法。调度时先求解topology任务中各组件的最佳并行度，再采用贪心策略进行调度，以最小化节点间的网络通信开销。通过与默认调度算法、线上调度算法和热边调度算法进行实验比较，结果表明该算法能够有效降低Storm处理时延，提高系统吞吐量和资源利用率。

来源：2019年第4期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2019年第4期