您所在的位置: 首页 > 专利技术 > 正文
专利基本信息
专利名称 一种Gaia集群中面向节点间异构带宽的数据分发方法
专利状态 - 专利号(申请号) CN110868461B
专利申请日期 2019-11-05 专利类型 发明专利
申请公布号 2019110715107 申请公布日 2019-11-05
授权公告号 - 授权公告日 -
发明人 马卿云;王国仁;赵宇海;郑军;李荣华
专利权人 北京理工大学;东北大学
专利摘要 本发明公开了一种Gaia集群中面向节点间异构带宽的数据分发方法,能够减少数据分发所需的时间。Gaia集群接收用户提交的批处理作业,并将作业图提交至主节点。在主节点处,选择作业被部署运行的从节点。以最小化数据分发过程所需的数据传输时间为目的,构建基于数据传输时间的优化模型,计算作业被部署运行的从节点的最优数据分发比例。在作业图中添加采样逻辑,采样逻辑依据最优数据分发比例对待分发数据进行分段,同一段内的数据在数据分发时发送到同一节点上。根据修改后的作业图,生成执行图,并对执行图中的各子任务在作业被部署运行的从节点上进行部署并运行。批处理作业开始执行,并按最优数据分发比例对待分发数据进行分发。
专利价值评估分析
相关推荐
Baidu
map