找到2项技术成果数据。
找技术>-
一种利用网络拓扑信息的简单再生码修复方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
本发明公开一种利用网络拓扑信息的简单再生码修复方法,具体步骤为:1、根据失效节点所在的分布式存储系统以及应用的简单再生码配置,获取系统使用的简单再生码编码参数(n,k,f),由待修复节点、修复参与节点所构成的存储节点集合以及存储节点集合中各个节点间的链路集合;2、构建修复网络G(N,E);3、根据步骤二中建立的修复网络,利用并行修复树构建算法构建针对所有f+1个丢失数据块的f+1个并行修复树Fi(1≤i≤f+1);4、对步骤三中得到的修复树Fi(1≤i≤f+1)进行对数据块的修复。本发明通过利用网络链路带宽信息与传输路径中间节点的编解码能力对简单再生码修复过程进行优化,构建针对特定丢失数据块的树型修复路径,使得数据块修复过程能合理使用高带宽链路,降低修复时延。
-
一种基于简单再生码的自适应编码存储容错方法
成熟度:正在研发
技术类型:发明
应用行业:制造业
技术简介
本发明公开一种基于简单再生码的自适应编码存储容错方法,其包含以下四个主要步骤:1)存入HDFS中的文件,以三副本方式存储;2)一个时间周期后,文件转为简单再生码快速码编码;3)当文件访问减少后,文件转为简单再生码紧凑码编码;4)随着运行中文件的动态属性,可能发生步骤2)和步骤3)中文件编码状态相互转化的情况。本发明通过在分布式文件系统HDFS中同时使用简单再生码紧凑码和快速码的两种编码形态,来达到存储开销和修复代价的折中,将基于简单再生码的自适应编码方法引入到HDFS中,结合文件状态和系统状态,建立了自适应编码机制,提高分布式存储系统的整体存储效率,降低修复代价。