面向大数据的云计算智能处理平台关键技术与应用

大数据作为战略资源，现已上升为国家战略。它是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正日益对全球生产、流通、分配、消费活动以及经济运行机制、社会生活方式和国家治理能力产生越来越重要的影响。大数据时代的战略意义并非仅仅是掌握这些巨量的数据信息，而是对这些数据进行专业化的处理，提高对数据的加工处理能力，实现数据增值。然而，大数据的指数级增长使得数据的存储、管理及分析具有很高的复杂性，因此大数据对云环境有着很高的依赖。以云计算为基础的信息储存、分享和处理手段，可以有效地对大数据进行分析、计算和预测，使决策更为准确。可以说，没有大数据的云计算，就失去了发挥作用的舞台；没有云计算的大数据，将成为没有价值的资料。

该项目开展面向大数据的云计算智能处理平台关键技术与应用的研究，已在高性能云计算、数据安全存储、数据高效读取、数据智能处理等诸多关键技术上实现突破，引领了中国具有自主知识产权的面向大数据的云计算智能处理平台关键技术的发展，科学意义重大，经济与社会效益显著。项目来源于国家自然科学基金重点项目及多项江苏省科技成果转化项目及科技支撑项目等。

主要研究工作和创新点如下：

1. 提出了一种支持多GPU虚拟化的平台架构及工作方法，建立了一种GPU计算资源调度机制和通信策略，弥补了云环境下虚拟机不能细粒度利用GPU加速的缺点，实现了可用于大数据智能处理的云环境下多GPU高效协同计算。

2. 提出了海量数据全生命周期存储解决方案，解决了海量数据长期安全存储/备份的问题；提出了分布式自主存储系统的理论模型，建立了分布式自适应云存储系统；提出了多种数据保护技术，实现了数据的持续保护、任意时点数据恢复与瞬间挂载、仿真演练与应急接管，具有高吞吐、低功耗的特点。

3. 提出了基于特征约减和加权的k-means++大数据聚类算法（FRW-KC）、基于密度和delta距离的聚类算法（DDC），针对谱聚类计算复杂度很高的问题，提出了基于最优K相异性抽样的谱聚类算法（SOKS），提高了大数据的聚类效率。

4. 提出了在不受控制的光照下利用大数据智能计算进行图像识别的新方法，并在识别困难照明图像上展现出了良好的性能；在此基础上，基于列车运行的大数据提出了一种轮缘线拟合方法以及一种机车轮对损伤检测方法，实现了实时可靠的机车车轮踏面损伤检测，制定了列车车轮安全检测的行业新标准。

研究成果已授权国家发明专利38项，并发表SCI检索论文30篇，其中单篇被引超千次论文1篇。

项目成果已在多家合作单位进行推广应用，近两年累计新增销售额超四亿元。项目产品已在新疆军区指挥自动化工作站、96151部队等军工单位成功应用，得到一致好评。项目关键技术已应用于基于大数据的平安城市视频监控领域，且在南京青奥会期间提供全市的视频动态监控支撑。基于该云平台关键技术研发的机车车轮踏面损伤在线检测系统已推广到济南、上海、广州等多个铁路局及其下属路段，保障了铁路运行安全，社会效益显著。

大数据作为战略资源，现已上升为国家战略。它是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正日益对全球生产、流通、分配、消费活动以及经济运行机制、社会生活方式和国家治理能力产生越来越重要的影响。大数据时代的战略意义并不是掌握这些巨量的数据信息，而是对这些数据进行专业化的处理，提高对数据的加工处理能力，实现数据增值。然而大数据的指数级增长使得数据的存储、管理及分析具有很高的复杂性，因此大数据对云环境有着很高的依赖。以云计算为基础的信息储存、分享和处理手段，可以有效地对大数据进行分析、计算和预测，使决策更为准确。可以说，没有大数据的云计算，就失去了发挥作用的舞台；没有云计算的大数据，将成为没有价值的资料。 该项目开展面向大数据的云计算智能处理平台关键技术与应用的研究，已在高性能云计算、数据安全存储、数据高效读取、数据智能处理等诸多关键技术上实现突破，引领了中国具有自主知识产权的面向大数据的云计算智能处理平台关键技术的发展，科学意义重大，经济与社会效益显著。项目来源于国家自然科学基金重点项目及多项江苏省科技成果转化项目及科技支撑项目等。 主要研究工作和创新点如下： (1)提出了一种支持多GPU虚拟化的平台架构及工作方法，建立了一种GPU计算资源调度机制和通信策略，弥补了云环境下虚拟机不能细粒度利用GPU加速的缺点，实现了可用于大数据智能处理的云环境下多GPU高效协同计算。 (2)提出了海量数据全生命周期存储解决方案，解决了海量数据长期安全存储/备份的问题；提出了分布式自主存储系统的理论模型，建立了分布式自适应云存储系统；提出了多种数据保护技术，实现了数据的持续保护、任意时点数据恢复与瞬间挂载、仿真演练与应急接管，具有高吞吐、低功耗的特点。 (3)提出了基于特征约减和加权的k-means++大数据聚类算法(FRW-KC)、基于密度和delta距离的聚类算法(DDC)，针对谱聚类计算复杂度很高的问题，提出了基于最优K相异性抽样的谱聚类算法(SOKS)，提高了大数据的聚类效率。 (4)提出了在不受控制的光照下利用大数据智能计算进行图像识别的新方法，并在识别困难照明图像上展现出了良好的性能；在此基础上基于列车运行的大数据提出了一种轮缘线拟合方法以及一种机车轮对损伤检测方法，实现了实时可靠的机车车轮踏面损伤检测，制定了列车车轮安全检测的行业新标准。 研究成果已授权国家发明专利38项，并发表SCI检索论文30篇，其中单篇被引超千次论文1篇。 项目成果已在多家合作单位进行推广应用，近两年累计新增销售额超四亿元。项目产品已在新疆军区指挥自动化工作站、96151部队等军工单位成功应用，得到一致好评。项目关键技术已应用于基于大数据的平安城市视频监控领域，且在南京青奥会期间提供全市的视频动态监控支撑。基于该云平台关键技术研发的机车车轮踏面损伤在线检测系统已推广到济南、上海、广州等多个铁路局及其下属路段，保障了铁路运行安全，社会效益显著。