您所在的位置： 首页 > 专利技术 > 正文
专利基本信息
专利名称 一种有效链接获取的网页增量抓取方法
专利状态 - 专利号（申请号） CN104794193B
专利申请日期 2015-04-17 专利类型 发明专利
申请公布号 2015101854935 申请公布日 2015-04-17
授权公告号 - 授权公告日 -
发明人 张雷;刘有力;资帅;韩军华;冯瀚洋;谢俊元
专利权人 南京大学
专利摘要 有效链接获取的网页增量抓取方法,包括如下步骤:1)有效链接获取阶段:a初始化抓取网页链接,指定抓取入口URL;b判断入口网页链接是否具有分页;c计算入口网页与其分页的公共链接;d通过公共链接获取有效链接;e结束;2)增量抓取阶段:a构建布隆过滤器,并通过布隆过滤器判断步骤1)‑d中有效网页链接是否已经抓取;b通过HTTP请求抓取未抓取的网页;c结束;本发明采用过滤无效链接获取有效的网页链接,并构建布隆过滤器维持已抓取链接集合,通过随机哈希判断网页是否抓取实现增量抓取。通过过滤无效链接,避免无效网页的抓取。
专利价值评估分析
专利价值评估分析 样例
相关推荐
技术专利 技术专家 技术成果
一种可变径支气管封堵治疗塞
专利号：2024232903701
实用新型专利
一种循环湿式气体净滤系统及其净滤方法
专利号：CN201811130833.4
发明专利
一种蛇形硬质镜鞘管
专利号：2024229087426
实用新型专利
一种具有自适应结构的自动拉伸器
专利号：ZL202110205735.8
发明专利
一种基于深度学习的旋转机械轴心轨迹识别方法
专利号：ZL202110056799.6
发明专利
吡喹酮粒度的光散射检测法
专利号：201910395270X
发明专利
一株具有抗甜瓜枯萎菌和抗甜瓜疫霉菌活性的植物乳杆菌AB-4及其应用
本发明公开了一种具有抗甜瓜枯萎活性的植物乳杆菌Lactobacillus?plantarum?AB-...
行业：蔬菜、食用菌及园艺作物种植
生物活性肽精准制备技术研究与应用
以药食同源动植物主要原料，综合运用双酶切、膜过滤等现代食品加工，研制出分子量在400-500Da， ...
行业：生物药品制品制造
一种选择性计数酸奶中保加利亚杆菌的方法
本发明涉及一种选择性计数酸奶中保加利亚杆菌的方法,该方法包括选择适于保加利亚乳杆菌生长的选择性计数培...
行业：饮料制造
定向诱导绒山羊毛囊干细胞向毛囊细胞分化的方法
本发明公开了一种定向诱导绒山羊毛囊干细胞向毛囊细胞分化的方法,属于绒山羊毛囊干细胞的诱导分化领域。本...
行业：牲畜饲养
天然铁强化食品制备关键技术与应用
铁螯合物是一种理想的补铁剂， 本产品主要以海洋动植物蛋白为原料， 经前处理、双酶解、膜分离等技术手段...
行业：其他食品制造
一种金属-EDTA络合物溶液及其制备方法和应用
本发明提供了一种金属#EDTA络合物溶液及其制备方法。该金属#EDTA络合物溶液的原料包括溶质和溶剂...
行业：环保、邮政、社会公共服务及其他专用设备制造
Baidu
map