您所在的位置： 首页 > 专利技术 > 正文
专利基本信息
专利名称 一种有效链接获取的网页增量抓取方法
专利状态 - 专利号（申请号） CN104794193B
专利申请日期 2015-04-17 专利类型 发明专利
申请公布号 2015101854935 申请公布日 2015-04-17
授权公告号 - 授权公告日 -
发明人 张雷;刘有力;资帅;韩军华;冯瀚洋;谢俊元
专利权人 南京大学
专利摘要 有效链接获取的网页增量抓取方法,包括如下步骤:1)有效链接获取阶段:a初始化抓取网页链接,指定抓取入口URL;b判断入口网页链接是否具有分页;c计算入口网页与其分页的公共链接;d通过公共链接获取有效链接;e结束;2)增量抓取阶段:a构建布隆过滤器,并通过布隆过滤器判断步骤1)‑d中有效网页链接是否已经抓取;b通过HTTP请求抓取未抓取的网页;c结束;本发明采用过滤无效链接获取有效的网页链接,并构建布隆过滤器维持已抓取链接集合,通过随机哈希判断网页是否抓取实现增量抓取。通过过滤无效链接,避免无效网页的抓取。
专利价值评估分析
专利价值评估分析 样例
相关推荐
技术专利 技术专家 技术成果
一种键盘（金左手键盘）
专利号：专 利 号：ZL202122053449.2
实用新型专利
吡喹酮粒度的光散射检测法
专利号：201910395270X
发明专利
一种复合材料螺旋铣孔专用刀具
专利号：ZL 2023 1 0672758.9
发明专利
一种可变径支气管封堵治疗塞
专利号：2024232903701
实用新型专利
一种风机主控桨距及转矩指令处理系统
专利号：ZL202010899714.6
发明专利
一种自动化螺栓拉伸紧固系统及方法
专利号：ZL202110205663.7
发明专利
天然铁强化食品制备关键技术与应用
铁螯合物是一种理想的补铁剂， 本产品主要以海洋动植物蛋白为原料， 经前处理、双酶解、膜分离等技术手段...
行业：其他食品制造
巯基木质纤维素/蒙脱土复合重金属吸附剂及制备与应用
本发明提供了一种巯基木质纤维素/蒙脱土复合重金属吸附剂及制备与应用。该吸附剂是由巯基木质纤维素与蒙脱...
行业：合成材料制造
一种提高光伏架下牧草种子产量的方法
本发明公开了一种提高光伏架下牧草种子产量的方法,其特征是：对光伏架下种植牧草的土壤施以微生物菌肥。本...
行业：研究和试验发展
生物活性肽精准制备技术研究与应用
以药食同源动植物主要原料，综合运用双酶切、膜过滤等现代食品加工，研制出分子量在400-500Da， ...
行业：生物药品制品制造
一种秸秆压扁折弯划切定向喂入方法及其装置
本发明涉及一种秸秆压扁折弯划切定向喂入方法及其装置,包括以下步骤：步骤(1)、对秸秆进行压扁,具体为...
行业：烘炉、风机、包装等设备制造
一种浅碟型串珠状波浪式排土场截排水系统
本发明公开了一种浅碟型串珠状波浪式排土场截排水系统,包括：坡面降雨防溅击治理区、坡面降雨防溅击治理区...
行业：环境治理业
Baidu
map