当前位置: 首页 > 科技成果列表 > 科技成果详细

Hadoop平台下基于预释放资源列表的任务调度算法

技术类型:发明专利

技术成熟度:研发

转让方式:技术转让、技术许可、技术入股

专利申请日:2016-06-30

专利所属地 :中国

专利号:CN201610503282.6

应用领域:通用仪器仪表制造

技术领域:-

交易价格:面议专利价值评估

应用案例:否

了解与分析本科技成果,可查看成果概况并使用以下技术转移数智化应用工具:
成果概况
简介

摘要:

本发明提出一种Hadoop平台下基于预释放资源列表的任务调度算法。该算法充分利用了Hadoop记录的历史信息和集群当前状况监控信息,以更好地帮助资源调度。值得注意的是,本算法无需手动设置延迟等待时间。

此外,通过对预释放资源列表中的资源进行预调度,本发明有效解决了公平性和本地性之间的矛盾。值得一提的是,本发明提出的任务调度算法可以像延迟调度算法一样,同时应用于公平调度器和计算能力调度器。

本发明的调度算法使用预释放资源列表,通过资源列表与任务列表的匹配调度,无论在Hadoop完成时间、任务本地性,还是平均作业响应时间方面,都取得了更好的效果。

(此文字表达经过AI优化完善,查看原文请点击 原文)
专利基本信息
专利名称 Hadoop平台下基于预释放资源列表的任务调度算法
专利状态 - 专利号(申请号) CN201610503282.6
申请号 - 专利申请日期 2016-06-30
专利授权日期 2016-12-07 专利权届满日 -
专利所属地 中国 专利类型 发明专利
发明人 李智勇;陈京;陈少淼;杨波;王尽如
权利人 -
专利摘要 本发明提出一种Hadoop平台下基于预释放资源列表的任务调度算法,充分利用了Hadoop记录的历史信息和集群当前状况监控信息来更好地帮助资源调度。本算法无需手动设置延迟等待时间。并通过对预释放资源列表中的资源进行预调度,解决了公平性和本地性之间的矛盾。另外,本发明提出的任务调度算法可以像延迟调度算法一样,同时应用于公平调度器和计算能力调度器。本发明的调度算法使用了预释放资源列表,通过资源列表与任务列表的匹配调度,无论在Hadoop完成时间、任务本地性,还是平均作业响应时间方面,都取得了更好的效果。
成果评价分析
技术应用分析
服务案例
Baidu
map