当前位置: 首页 > 科技成果列表 > 科技成果详细

一种基于关键字的定向网页采集方法

技术类型:发明专利

技术成熟度:研发

转让方式:技术转让、技术许可、技术入股

专利申请日:2017-04-07

专利所属地 :中国

专利号:CN201710224022.X

应用领域:通用仪器仪表制造

技术领域:电子信息

交易价格:面议专利价值评估

应用案例:否

了解与分析本科技成果,可查看成果概况并使用以下技术转移数智化应用工具:
成果概况
简介

本发明涉及一种基于关键字的定向网页采集方法,具体如下:

  1. 引入文本加权算法,为关键词设置权重。
  2. 结合空间向量模型算法,计算网页主题相关度。
  3. 利用网页链接结构与主题相关度评判网页的重要性。
  4. 根据文本聚类算法,将相关主题网页文档聚集在一起。
  5. 利用朴素贝叶斯算法,计算出待抓取的网页属于主题文档的概率。
  6. 设置适应度函数,筛选与主题相关的网页。
  7. 依据网页的实时抓取情况,动态调整系统模型。

本文基于分布式平台,结合开源网络采集架构,利用自适应主题算法实现对主题网页的定向抓取。具体措施包括:

  1. 采用分布式技术实现并行化抓取网页。
  2. 充分利用各个节点计算资源。
  3. 提高网页的抓取速率。
(此文字表达经过AI优化完善,查看原文请点击 原文)
专利基本信息
专利名称 一种基于关键字的定向网页采集方法
专利状态 - 专利号(申请号) CN201710224022.X
申请号 - 专利申请日期 2017-04-07
专利授权日期 2017-09-15 专利权届满日 -
专利所属地 中国 专利类型 发明专利
发明人 徐小龙;杨春春
权利人 -
专利摘要 本发明涉及一种基于关键字的定向网页采集方法,引入了文本加权算法为关键词设置权重,结合空间向量模型算法计算网页主题相关度,并且利用网页链接结构与主题相关度来评判网页的重要性。根据文本聚类算法将相关主题网页文档聚集在一起,利用朴素贝叶斯算法计算出待抓取的网页属于主题文档的概率。设置适应度函数筛选与主题相关的网页,依据网页的实时抓取情况动态的调整系统模型。本文基于分布式平台,结合开源网络采集架构,利用自适应主题算法实现对主题网页的定向抓取。采用分布式技术实现并行化抓取网页,充分利用各个节点计算资源,提高了网页的抓取速率。
成果评价分析
技术应用分析
服务案例
Baidu
map