计算机应用研究

作者：刘宇,于炯,蒲勇霖,李梓杨,张译天,

单位：1.新疆大学软件学院,乌鲁木齐830091；2.新疆大学信息科学与工程学院,乌鲁木齐830046；

关键词：大数据,流式计算,ApacheHeron,资源限制,通信开销,

基金：国家自然科学基金资助项目(61862060,61462079,61562086,61562078)；国家科技部科技支撑基金资助项目(2015BAH02F01)；新疆大学博士生科技创新资助项目(XJUBSCX-201902)；；

作为新一代大数据流式计算框架，Heron忽略了任务实例之间不同通信方式的差异以及节点资源利用率不均衡的问题导致系统性能下降。针对这一问题，设计了节点资源限制模型、通信开销优化模型和实例数据流关系模型，并在此基础上提出了Heron环境下基于实例重分配的传输负载优化策略（transmission load optimization strategy based on instance reallocation in Heron，TLIR-Heron）。该策略包括节点资源限制算法和实例重分配算法，通过判定实例重分配条件并执行重分配算法将节点间数据流转换为节点内数据流，从而降低通信开销。实验结果表明，在三组拓扑测试下，TLIR-Heron相较于Heron默认调度策略能够降低节点间通信开销和系统的计算延迟，并提升了计算节点资源利用的均衡性。

来源：2021年第1期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2021年第1期