本发明公开一种基于Hadoop的电信业务小文件存储系统及方法,包括以下组成部分:
在数据传输单元和HDFS之间,设有文件预处理单元,该单元包括:
分布式并行小文件处理服务器根据文件类型的不同,存储相应的小文件。当用户文件通过数据传输单元上传至文件预处理单元时,主服务器将执行以下操作:
利用SequenceFile等文件格式,实现小文件的存储和优化处理。
| 专利名称 | 基于Hadoop的电信业务小文件存储系统及方法 | ||
|---|---|---|---|
| 专利状态 | - | 专利号(申请号) | CN201510145487.7 |
| 申请号 | - | 专利申请日期 | 2015-03-31 |
| 专利授权日期 | 2015-07-15 | 专利权届满日 | - |
| 专利所属地 | 中国 | 专利类型 | 发明专利 |
| 发明人 | 孟庆民;闫怀礼;朱卫平;曾桂根;吴晓富 | ||
| 权利人 | - | ||
| 专利摘要 | 本发明公开一种基于Hadoop的电信业务小文件存储系统及方法,包括数据采集单元、数据传输单元和HDFS,数据传输单元和HDFS之间设有文件预处理单元,包括主服务器和分布式并行小文件处理服务器,分布式并行小文件处理服务器根据文件类型的不同存储相应的小文件。当用户文件通过数据传输单元上传至文件预处理单元时,主服务器判断该文件的大小,将小文件存至分布式并行小文件处理服务器,利用SequenceFile?容器对小文件进行合并和建立索引。本发明算法简单,存储和读取文件方便快捷,速度快,效率高。 | ||