本发明提供一种面向HDFS的网络报文并行读取方法,包括以下两个阶段:
该方法依托Hadoop平台的分布式框架MapReduce与分布式文件系统HDFS,具体操作如下:
通过本发明中的方法,大大提高了HDFS下pcap格式文件的并行读取能力,进而提高了后续网络数据包的并行分析与处理效率。
| 专利名称 | 一种面向HDFS的网络报文并行读取方法 | ||
|---|---|---|---|
| 专利状态 | - | 专利号(申请号) | CN201610353612.8 |
| 申请号 | - | 专利申请日期 | 2016-05-25 |
| 专利授权日期 | 2016-10-12 | 专利权届满日 | - |
| 专利所属地 | 中国 | 专利类型 | 发明专利 |
| 发明人 | 吴骏;刘勇;汤兆亮;高扬;吴和生;李宁 | ||
| 权利人 | - | ||
| 专利摘要 | 本发明提供一种面向HDFS的网络报文并行读取方法,包括网络数据捕获与pcap报文解析两个阶段。本方法依托Hadoop平台的分布式框架MapReduce与分布式文件系统HDFS,将捕获的网络数据包写入HDFS,并通过本发明实现的二进制pcap流解析方法将pcap报文并行的解析出来,形成key‑value对然后交由MapReduce框架进行分析处理。通过本发明中的方法大大提高了HDFS下pcap格式文件的并行读取能力,进而提高了后续网络数据包的并行分析与处理效率。 | ||