了解与分析本科技成果,可查看成果概况并使用以下技术转移数智化应用工具:
成果概况
简介
本发明涉及一种基于关键字的定向网页采集方法,具体如下:
- 引入文本加权算法,为关键词设置权重。
- 结合空间向量模型算法,计算网页主题相关度。
- 利用网页链接结构与主题相关度评判网页的重要性。
- 根据文本聚类算法,将相关主题网页文档聚集在一起。
- 利用朴素贝叶斯算法,计算出待抓取的网页属于主题文档的概率。
- 设置适应度函数,筛选与主题相关的网页。
- 依据网页的实时抓取情况,动态调整系统模型。
本文基于分布式平台,结合开源网络采集架构,利用自适应主题算法实现对主题网页的定向抓取。具体措施包括:
- 采用分布式技术实现并行化抓取网页。
- 充分利用各个节点计算资源。
- 提高网页的抓取速率。
本发明涉及一种基于关键字的定向网页采集方法,引入了文本加权算法为关键词设置权重,结合空间向量模型算法计算网页主题相关度,并且利用网页链接结构与主题相关度来评判网页的重要性。根据文本聚类算法将相关主题网页文档聚集在一起,利用朴素贝叶斯算法计算出待抓取的网页属于主题文档的概率。设置适应度函数筛选与主题相关的网页,依据网页的实时抓取情况动态的调整系统模型。本文基于分布式平台,结合开源网络采集架构,利用自适应主题算法实现对主题网页的定向抓取。采用分布式技术实现并行化抓取网页,充分利用各个节点计算资源,提高了网页的抓取速率。
(此文字表达经过AI优化完善,查看原文请点击
原文)
专利基本信息
| 专利名称 |
一种基于关键字的定向网页采集方法 |
| 专利状态 |
- |
专利号(申请号) |
CN201710224022.X |
| 申请号 |
- |
专利申请日期 |
2017-04-07 |
| 专利授权日期 |
2017-09-15 |
专利权届满日 |
- |
| 专利所属地 |
中国 |
专利类型 |
发明专利 |
| 发明人 |
徐小龙;杨春春 |
| 权利人 |
- |
| 专利摘要 |
本发明涉及一种基于关键字的定向网页采集方法,引入了文本加权算法为关键词设置权重,结合空间向量模型算法计算网页主题相关度,并且利用网页链接结构与主题相关度来评判网页的重要性。根据文本聚类算法将相关主题网页文档聚集在一起,利用朴素贝叶斯算法计算出待抓取的网页属于主题文档的概率。设置适应度函数筛选与主题相关的网页,依据网页的实时抓取情况动态的调整系统模型。本文基于分布式平台,结合开源网络采集架构,利用自适应主题算法实现对主题网页的定向抓取。采用分布式技术实现并行化抓取网页,充分利用各个节点计算资源,提高了网页的抓取速率。 |