大数据灾备存储管理技术研究

该课题是北京邮电大学信息中心、国家灾备工程实验室所承担的研究课题中的子课题之一，委托东北大学秦皇岛分校进行该项目中大数据灾备存储管理相关技术的研究。

大数据问题的分析和解决通常很复杂。处理并存储大数据时，会涉及到更多维度。

柔性多模式匹配是数据处理中非常常见的一类应用。正则表达式技术作为一种表达能力及其强大的灵活、高效的多模式柔性匹配技术，在各类数据处理应用领域中得到了极其广泛的应用。执行正则表达式匹配的是与正则表达式等价的有限状态自动机，通常称为正则引擎。

课题针对大数据灾备存储管理的数据处理需求中，采用基于正则表达式技术的模式匹配进行数据处理时其数据处理效率低下、系统吞吐量小的问题展开，研究如何从根本上有效地提升处理数据的正则引擎的工作效率的问题。

随着云计算与大数据的飞速发展，迫切需要各种数据处理系统具有高效的处理能力以提高系统的吞吐量，从而提升大数据处理类应用的服务质量，创造更大的社会和经济效益。

为了更加灵活、准确、智能地实现各种数据处理，几乎各种数据处理应用领域都采用了正则表达式技术。随着大数据应用中数据量的激增以及模式库中正则表达式数量的快速增加，基于正则表达式技术的数据处理的基础——正则引擎的匹配效率越来越低下，成为系统的瓶颈。该问题已经成为所有采用正则表达式技术的数据处理应用系统效率低下的共性问题，主要体现在：

(1) NFA引擎匹配效率低下，并行NFA匹配模式下匹配路径指数级增长，导致NFA引擎成为整个系统的瓶颈；

(2) 解决NFA引擎效率低下的途径之一是采用DFA引擎，然而，DFA引擎匹配效率虽然高却存在状态空间膨胀的问题。DFA状态空间膨胀同样也严重地影响了正则引擎的工作效率。

近年来国内针对上述问题展开的如何有效提高正则引擎的效率的研究，基本上都是基于现有系统、工具中模式库中已有的正则表达式来展开的，无法从根本上为所有的正则表达式技术的共性问题。该课题从基础理论着手展开研究，其成果不会受限于任何特定的应用系统和模式库，所有采用正则表达式的模式匹配技术应用领域都会受益。

该课题是北京邮电大学信息中心、国家灾备工程实验室所承担的研究课题中的子课题之一，委托东北大学秦皇岛分校进行该项目中大数据灾备存储管理相关技术的研究。大数据问题的分析和解决通常很复杂。处理并存储大数据时，会涉及到更多维度。柔性多模式匹配是数据处理中非常常见的一类应用。正则表达式技术作为一种表达能力及其强大的灵活、高效的多模式柔性匹配技术，在各类数据处理应用领域中得到了极其广泛的应用。执行正则表达式匹配的是与正则表达式等价的有限状态自动机，通常称为正则引擎。 课题针对大数据灾备存储管理的数据处理需求中，采用基于正则表达式技术的模式匹配进行数据处理时其数据处理效率低下、系统吞吐量小的问题展开，研究如何从根本上有效地提升处理数据的正则引擎的工作效率的问题。随着云计算与大数据的飞速发展，迫切需要各种数据处理系统具有高效的处理能力以提高系统的吞吐量，从而提升大数据处理类应用的服务质量，创造更大的社会和经济效益。为了更加灵活、准确、智能地实现各种数据处理，几乎各种数据处理应用领域都采用了正则表达式技术。随着大数据应用中数据量的激增以及模式库中正则表达式数量的快速增加，基于正则表达式技术的数据处理的基础-正则引擎的匹配效率越来越低下，成为系统的瓶颈，该问题已经成为所有采用正则表达式技术的数据处理应用系统效率低下的共性问题，主要体现在： (1)NFA引擎匹配效率低下，并行NFA匹配模式下匹配路径指数级增长，导致NFA引擎成为整个系统的瓶颈； (2)解决NFA引擎效率低下的途径之一是采用DFA引擎，然而，DFA引擎匹配效率虽然高却存在状态空间膨胀的问题。DFA状态空间膨胀同样也严重地影响了正则引擎的工作效率。 近年来国内针对上述问题展开的如何有效提高正则引擎的效率的研究，基本上都是基于现有系统、工具中模式库中已有的正则表达式来展开的，无法从根本上为所有的正则表达式技术的共性问题，该课题从基础理论着手展开研究，其成果不会受限于任何特地的应用系统和模式库，所有采用正则表达式的模式匹配技术应用领域都会受益。