您所在的位置: 首页 > 专利技术 > 正文
专利基本信息
专利名称 基于开源大数据对时间敏感数据的存储和近实时查询方法
专利状态 - 专利号(申请号) CN105528367B
专利申请日期 2014-09-30 专利类型 发明专利
申请公布号 2014105220332 申请公布日 2014-09-30
授权公告号 - 授权公告日 -
发明人 晁平复;翁海星;张弛;高祎璠;张蓉
专利权人 华东师范大学
专利摘要 本发明公开了一种基于开源大数据对时间敏感数据的存储和近实时查询方法,包括如下步骤:建立近实时查询处理平台,近实时查询处理平台具有内存空间和外存空间;定义文件存储策略,对内存空间中的源数据文件进行数据处理与计算,使源数据文件依照其时间敏感特性进行整理后存入外存空间;以数据文件的时间敏感特性作为过滤条件进行倒排索引,建立点索引以及范围索引生成索引信息,将索引信息存入外存空间,并缓存至内存空间;通过查询索引信息查找点索引或者范围索引,获取相关文件路径列表,根据文件路径列表读取与查询请求对应的源数据文件,通过充分结合时间敏感的特性,设计数据过滤策略以减少数据扫描量,实现大数据的近实时查询反馈。
专利价值评估分析
相关推荐
Baidu
map