针对现有Hadoop作业调度算法在多用户、异构环境下不具备反馈机制的问题

提出一种云计算环境下具备反馈机制的动态作业调度算法。该算法引入排队论模型

采用单队列多资源池服务窗口的设计思路

将所有作业统一提交到一个支持优先级的排队队列

作业分发控制模块选择优先级最高的作业分发到空闲的资源池窗口执行;Hadoop集群通过自身的心跳机制将作业运行的初始化时间、运行时间等信息传递给参数统计模块进行统计

将获得的平均到达率和平均服务率这两个核心参数的实际值传递给反馈机制模块

根据调度算法模型计算出平均逗留时间和平均队长的理论值并与实际值进行对比

当差值大于阈值时对该调度算法的核心参数进行适当调节使差值收敛于阈值

将具有较大平均逗留时间和平均队长的作业调度到有槽位数的资源池服务窗口执行。实验结果表明:与经典算法相比

该算法具有较高的调度效率和负载平衡能力

作业平均逗留时间比先进先出调度算法和公平调度算法分别减少了57%和19%

平均队长分别减少了50%和37%。