一种基于Hadoop集群的网络预测与调度方法

本发明提供一种基于Hadoop集群的网络预测与调度方法，通过分析Hadoop运行所产生的中间临时文件，从应用层角度预测网络流量； ——根据预测的网络流量信息，考虑Hadoop运行时网络流之间的相互依赖关系， ——以网络流所属Hadoop的作业（Hadoop程序）为单位， ——按照优先级的高低对网络流进行调度。

本发明区别于现有的通常在网络层的预测，采用从应用层直接获得对网络需求， ——体现了预测的主动性和透明性； ——采用Linux系统提供的实时监测机制， ——能够快速反映相关文件的变化， ——在第一时间获取有用信息， ——体现了快速、提前性的特点。

本发明提供一种基于Hadoop集群的网络预测与调度方法，通过分析Hadoop运行所产生的中间临时文件，从应用层角度预测网络流量；根据预测的网络流量信息，考虑Hadoop运行时网络流之间的相互依赖关系，以网络流所属Hadoop的作业(Hadoop程序)为单位，按照优先级的高低对网络流进行调度。本发明区别于现有的通常在网络层的预测，采用从应用层直接获得对网络需求，体现了预测的主动性和透明性；采用linux系统提供的实时监测机制，能够快速反映相关文件的变化，在第一时间获取有用信息，体现了快速、提前性的特点。