BBS舆情系统爬虫模块的研究

张旭, 张振江, 刘云. BBS舆情系统爬虫模块的研究[J]. 铁路计算机应用, 2010, 19(12): 18-21.

引用本文:

张旭, 张振江, 刘云. BBS舆情系统爬虫模块的研究[J]. 铁路计算机应用, 2010, 19(12): 18-21.

ZHANG Xu, ZHANG Zhen-jiang, LIU Yun. Research on crawler module of BBS Public Opinion System[J]. Railway Computer Application, 2010, 19(12): 18-21.

Citation:

ZHANG Xu, ZHANG Zhen-jiang, LIU Yun. Research on crawler module of BBS Public Opinion System[J]. Railway Computer Application, 2010, 19(12): 18-21.

Research on crawler module of BBS Public Opinion System

摘要: 针对重要的舆论平台BBS论坛,提出利用网络爬虫构建适合抓取论坛数据的爬虫模块.通过分析BBS论坛以及比较不同类别爬虫的特点,介绍BBS爬虫模块的工作流程以及需要选择的策略,讨论URL的处理与重定向问题的解决方法,并提出对不同论坛模块定制不同任务的抓取策略.

用微信扫码二维码

分享至好友和朋友圈