当前位置: 首页 > 科技成果列表 > 科技成果详细

基于Hadoop的电信业务小文件存储系统及方法

技术类型:发明专利

技术成熟度:研发

转让方式:技术转让、技术许可、技术入股

专利申请日:2015-03-31

专利所属地 :中国

专利号:CN201510145487.7

应用领域:通用仪器仪表制造

技术领域:电子信息

交易价格:面议专利价值评估

应用案例:否

了解与分析本科技成果,可查看成果概况并使用以下技术转移数智化应用工具:
成果概况
简介

本发明公开一种基于Hadoop的电信业务小文件存储系统及方法,包括以下组成部分:

  1. 数据采集单元
  2. 数据传输单元
  3. HDFS(Hadoop Distributed File System)

在数据传输单元和HDFS之间,设有文件预处理单元,该单元包括:

  • 主服务器
  • 分布式并行小文件处理服务器

分布式并行小文件处理服务器根据文件类型的不同,存储相应的小文件。当用户文件通过数据传输单元上传至文件预处理单元时,主服务器将执行以下操作:

  • 判断该文件的大小
  • 将小文件存至分布式并行小文件处理服务器

利用SequenceFile等文件格式,实现小文件的存储和优化处理。

(此文字表达经过AI优化完善,查看原文请点击 原文)
专利基本信息
专利名称 基于Hadoop的电信业务小文件存储系统及方法
专利状态 - 专利号(申请号) CN201510145487.7
申请号 - 专利申请日期 2015-03-31
专利授权日期 2015-07-15 专利权届满日 -
专利所属地 中国 专利类型 发明专利
发明人 孟庆民;闫怀礼;朱卫平;曾桂根;吴晓富
权利人 -
专利摘要 本发明公开一种基于Hadoop的电信业务小文件存储系统及方法,包括数据采集单元、数据传输单元和HDFS,数据传输单元和HDFS之间设有文件预处理单元,包括主服务器和分布式并行小文件处理服务器,分布式并行小文件处理服务器根据文件类型的不同存储相应的小文件。当用户文件通过数据传输单元上传至文件预处理单元时,主服务器判断该文件的大小,将小文件存至分布式并行小文件处理服务器,利用SequenceFile?容器对小文件进行合并和建立索引。本发明算法简单,存储和读取文件方便快捷,速度快,效率高。
成果评价分析
技术应用分析
服务案例
Baidu
map