您所在的位置: 首页 > 专利技术 > 正文
专利基本信息
专利名称 一种基于Hadoop的海量矢量数据划分方法及系统
专利状态 - 专利号(申请号) CN106021567B
专利申请日期 2016-05-31 专利类型 发明专利
申请公布号 2016103777105 申请公布日 2016-05-31
授权公告号 - 授权公告日 -
发明人 李林;姚晓闯;***海;郧文聚;杨建宇;叶思菁;赵祖亮
专利权人 中国农业大学
专利摘要 本发明涉及一种基于Hadoop的海量矢量数据划分方法及系统。该方法包括:基于Hilbert空间填充曲线对空间数据集中的空间要素进行空间编码;通过Map函数和Reduce函数实现空间要素的键值化,并生成空间数据样本信息集;根据所述空间数据样本信息集生成空间数据划分矩阵;根据所述空间数据划分矩阵将各个空间要素划分入对应的存储数据块中,同时将相邻数据块分发至同一集群节点上。本发明系统将Hilbert空间填充曲线引入到数据抽样和划分规则中,充分考虑空间数据相邻对象的空间位置关系、空间对象的自身大小以及相同编码块的空间对象个数等影响要素,不仅保证了样本信息集的空间分布特征,提高了海量矢量数据的空间索引效率;同时也保证了基于HDFS数据块存储的负载均衡。
专利价值评估分析
相关推荐
Baidu
map