您所在的位置: 首页 > 专利技术 > 正文
专利基本信息
专利名称 一种基于改进鲨鱼搜索的主题爬虫方法
专利状态 - 专利号(申请号) CN110532450B
专利申请日期 2019-05-13 专利类型 发明专利
申请公布号 2019103952837 申请公布日 2019-05-13
授权公告号 - 授权公告日 -
发明人 吴骏;谈志文;张哲成;王崇骏
专利权人 南京大学
专利摘要 本发明公开了一种基于改进鲨鱼搜索的主题爬虫方法,包括如下步骤1)种子url配置以及主题词配置阶段;2)网页下载阶段;3)主题判别阶段;4)爬虫搜索阶段:a计算链接的内容得分以及url聚类得分;b对父网页进行hub型页面判定;c计算链接的搜索深度;d将链接加入url优先级队列,并根据链接得分与搜索深度调整队列中顺序。本发明利用主题词向量、url聚类算法以及hub型页面判别解决了主题爬虫中主题判别不准确、爬取覆盖面积不足的问题。
专利价值评估分析
相关推荐
Baidu
map