本发明公开了一种海量交易数据中频繁项目集的挖掘方法,具体包括以下步骤:
A)首先,收集原始交易数据,并更新与原始交易数据对应的索引文件。
B)接着,查询是否存在未处理的原始交易数据。若存在,则执行步骤C);若未存在,则返回步骤A)。
C)对未处理的原始交易数据进行预处理,并将经过预处理的原始交易数据导入到分布式文件系统中。
D)然后,利用均衡的并行频繁项目集增长算法对导入到分布式文件系统中的经过预处理的原始交易数据进行计算,进而得到频繁项目集。
E)随后,将由步骤D)得到的频繁项目集导入到分布式文件系统中。
F)最后,更新与经过步骤C)至步骤E)处理的原始交易数据对应的索引文件。
此外,本发明还公开了一种海量交易数据中频繁项目集的查询方法。
| 专利名称 | 海量交易数据中频繁项目集的挖掘方法及查询方法 | ||
|---|---|---|---|
| 专利状态 | - | 专利号(申请号) | CN201310629404.2 |
| 申请号 | - | 专利申请日期 | 2013-11-29 |
| 专利授权日期 | 2015-06-03 | 专利权届满日 | - |
| 专利所属地 | 中国 | 专利类型 | 发明专利 |
| 发明人 | 高琴;李俊杰;黄哲学 | ||
| 权利人 | - | ||
| 专利摘要 | 本发明公开一种海量交易数据中频繁项目集的挖掘方法,其包括:A)收集原始交易数据,并更新与原始交易数据对应的索引文件;B)查询是否存在未处理的原始交易数据;若存在,则执行步骤C);若未存在,则返回步骤A);C)对未处理的原始交易数据进行预处理,并将经过预处理的原始交易数据导入到分布式文件系统中;D)利用均衡的并行频繁项目集增长算法对导入到分布式文件系统中的经过预处理的原始交易数据进行计算,进而得到频繁项目集;E)将由步骤D)得到的频繁项目集导入到分布式文件系统中;F)更新与经过步骤C)至步骤E)处理的原始交易数据对应的索引文件。本发明还公开一种海量交易数据中频繁项目集的查询方法。 | ||