基于分类管理的多线程网络爬虫方法和信息实时更新系统

本发明公开了基于分类管理的多线程网络爬虫方法的信息实时更新系统。

该系统包括以下模块：

1. 页面获取模块
2. 页面处理模块
3. 模块化机制模块
4. 多线程循环模块
5. 标记队列管理模块
6. 存储模块

系统采用多线程网络爬虫并加以改进，引入标记思想。对已经爬取结束的线程使用队列方式进行标记，解决一般多线程方法中循环爬虫时产生的相互干扰的问题。

系统采用模块化机制实现各个不同信息的采集。这有利于动态地增加、减少目标文件，方便整个系统的维护修改。

本发明方法很好地利用了网络带宽资源，提高了网络信息采集的效率，并减少了多线程爬虫时的干扰。特别适用于信息实时更新系统的网络爬虫问题。

本发明公开了基于分类管理的多线程网络爬虫方法的信息实时更新系统，该系统包括页面获取模块，页面处理模块，模块化机制模块，多线程循环模块，标记队列管理模块，存储模块。系统采用多线程网络爬虫并加以改进，引入标记思想，对已经爬取结束的线程使用队列方式进行标记，解决一般多线程方法中循环爬虫时产生的相互干扰的问题。系统采用模块化机制实现各个不同信息的采集，以便于动态的增加、减少目标文件，方便整个系统的维护修改。本发明方法很好地利用了网络带宽资源，提高了网络信息采集的效率，并减少了多线程爬虫时的干扰，特别适用于信息实时更新系统的网络爬虫问题。