本发明适用于信息处理技术领域,提供了一种并行处理方法及装置,应用于包含多个终端设备的系统。该方法包括以下步骤:
本发明通过在各终端设备并行化构建广义后缀树,加快了广义后缀树的构建速度,并且能够处理更大的数据量,提供更大的内存空间。这解决了由于单机内存限制而不能对大数据采用广义后缀树的问题。
另外,本发明通过两次MapReduce查找频繁模式,减少了对于带宽的消耗,并排除了较多的冗余遍历。这使得遍历效率更高,从而有效加快了频繁模式的查找速度。
| 专利名称 | 一种并行处理方法及装置 | ||
|---|---|---|---|
| 专利状态 | - | 专利号(申请号) | CN201310740110.7 |
| 申请号 | - | 专利申请日期 | 2013-12-27 |
| 专利授权日期 | 2014-03-26 | 专利权届满日 | - |
| 专利所属地 | 中国 | 专利类型 | 发明专利 |
| 发明人 | 黄鑫;罗军 | ||
| 权利人 | - | ||
| 专利摘要 | 本发明适用于信息处理技术领域,提供了一种并行处理方法及装置,应用于包含多个终端设备的系统,所述方法包括:在各终端设备并行构建广义后缀树;基于构建的广义后缀树,通过MapReduce在各终端设备查找候选频繁模式;通过MapReduce在所述候选频繁模式中查找频繁模式。本发明通过在各终端设备并行化构建广义后缀树,加快了广义后缀树构建速度,而且计算过程可以处理更大的数据量,提供更大的内存空间,解决了因为单机内存限制不能对大数据采用广义后缀树的问题。另外,通过两次MapReduce查找频繁模式减少了对于带宽的消耗,且排除了较多冗余的遍历,遍历效率更高,从而有效加快了频繁模式查找速度。 | ||