计算机应用研究

作者：王萌,刘旋律,高峰,顾进广,

单位：1.武汉科技大学a.计算机科学与技术学院;b.智能信息处理与实时工业系统湖北省重点实验室;c.大数据科学与工程研究院,武汉430065；2.国家新闻出版署富媒体数字出版内容组织与知识服务重点实验室,北京100038；

关键词：实时ETL,弹性调度,资源调度,多维背包,

基金：国家社会科学基金重大项目(11&ZD189)；国家自然科学基金资助项目(61673304)；国家自然科学基金通用联合基金资助项目(U1836118)；；

在ETL系统中，当数据生产速度遇到较大的波动时，为了使现有资源在有限的条件下极大程度地满足用户的使用需求，提出了基于资源紧迫度的ETL弹性调度机制。首先，构建基于历史数据的时间序列预测模型，用来预测数据生产速度；然后，根据各个ETL过程提交的资源清单和各个服务器负载情况，对单个用户的多个ETL过程的资源进行调整。该调度机制将资源调度问题转换为多维背包问题，提出了基于资源紧迫度的动态调度算法。实验结果表明，当用户资源对所有的ETL过程稀缺的时候，该调度算法会使资源得到更好的利用。通过实验验证了弹性调度比传统的调度方式在资源利用方面具有优势。

来源：2021年第7期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2021年第7期