当前位置: 首页 > 科技成果列表 > 科技成果详细

一种面向HDFS的网络报文并行读取方法

技术类型:发明专利

技术成熟度:研发

转让方式:技术转让、技术许可、技术入股

专利申请日:2016-05-25

专利所属地 :中国

专利号:CN201610353612.8

应用领域:通信设备制造

技术领域:电子信息

交易价格:面议专利价值评估

应用案例:否

了解与分析本科技成果,可查看成果概况并使用以下技术转移数智化应用工具:
成果概况
简介

本发明提供一种面向HDFS的网络报文并行读取方法,包括以下两个阶段:

  1. 网络数据捕获与pcap报文解析

该方法依托Hadoop平台的分布式框架MapReduce与分布式文件系统HDFS,具体操作如下:

  • 将捕获的网络数据包写入HDFS;
  • 通过本发明实现的二进制pcap流解析方法,将pcap报文并行解析出来,形成key-value对;
  • 将解析后的数据交由MapReduce框架进行分析处理。

通过本发明中的方法,大大提高了HDFS下pcap格式文件的并行读取能力,进而提高了后续网络数据包的并行分析与处理效率。

(此文字表达经过AI优化完善,查看原文请点击 原文)
专利基本信息
专利名称 一种面向HDFS的网络报文并行读取方法
专利状态 - 专利号(申请号) CN201610353612.8
申请号 - 专利申请日期 2016-05-25
专利授权日期 2016-10-12 专利权届满日 -
专利所属地 中国 专利类型 发明专利
发明人 吴骏;刘勇;汤兆亮;高扬;吴和生;李宁
权利人 -
专利摘要 本发明提供一种面向HDFS的网络报文并行读取方法,包括网络数据捕获与pcap报文解析两个阶段。本方法依托Hadoop平台的分布式框架MapReduce与分布式文件系统HDFS,将捕获的网络数据包写入HDFS,并通过本发明实现的二进制pcap流解析方法将pcap报文并行的解析出来,形成key‑value对然后交由MapReduce框架进行分析处理。通过本发明中的方法大大提高了HDFS下pcap格式文件的并行读取能力,进而提高了后续网络数据包的并行分析与处理效率。
成果评价分析
技术应用分析
服务案例
Baidu
map