用8爪鱼制作的论坛数据网页爬虫

抓取抓取论坛数据的方法。。

在开始之前，可以先参考一下这些文章，希望有帮助：
小白30分钟学会网页爬虫
网页爬虫真实案例记录

文中用到的爬虫工具（官网），只作为演示使用，实际应用中可以替换成自己拿手的工具或代码语言即可。

演示网址：http://forum.sports.sina.com.cn/forum-2-1.html

使用功能点：

l 翻页设置 功能详情说明

l 分页表格信息提取 功能详情说明

新浪体育频道：新浪体育频道是全球最大的中文体育资讯频道，全面覆盖全球体育赛事，多媒体、全方位再现国内外体坛风云。新浪体育包括国内足球、国际足球、NBA、综 育等重头栏目，全程追踪报道各国体育明星及热门 队，在国内外业界享有良好口碑。

新浪体育论坛抓取数据说明：本文进行了新浪体育论坛信息进行抓取。本文仅以“新浪体育论坛信息抓取”为例，大家在实操过程中，可根据自身需求，更换新浪论坛的其他内容进行数据抓取。

新浪体育论坛抓取字段详细说明：帖子标题，帖子作者，帖子发布时间，帖子 数，帖子浏览数，帖子最后发表时间，帖子最后 人。

步骤1：创建抓取任务

1）进入主界面选择，选择自定义模式

大图>>

2）将上面网址的网址复制粘贴到网站输入框中， “保存网址”

大图>>

3）保存网址后，页面将在八爪鱼抓取器中打开，红色方框中的评价信息是这次演示要抓取的内容

大图>>

步骤2：创建翻页循环

l 找到翻页按钮，设置翻页循环

l 设置ajax翻页时间

1）将页面下拉到底部，找到下一页按钮，鼠标 ，在右侧操作提示框中，选择“更多操作”

大图>>

2）选择“循环 单个链接”

大图>>

步骤3：分页表格信息抓取

l 选中需要抓取的字段信息，创建抓取列表

l 编辑抓取字段名称

1）移动鼠标选中表格里任意一个空格信息，右键 ，如图所示，框中数据会被选中，变成绿色， 右侧提示中 “TR”

大图>>

2）选中数据当前一行的数据会被全部选中， “选中子元素”

大图>>

3）右侧操作提示框中，查看提取的字段，可将不需要字段删除， “选中全部”

大图>>

4） “抓取以下数据”

大图>>

注意： 在提示框中的字段上会出现一个“X”标识， 即可删除该字段。

大图>>

5）修改抓取任务名、字段名，并 下方提示中的“保存并开始抓取”

大图>>

6）根据抓取的情况选择合适的抓取方式，这里选择“启动本地抓取”

大图>>

说明：本地抓取占用当前电脑资源进行抓取，如果存在抓取时间要求或当前电脑无法长时间进行抓取可以使用云抓取功能，云抓取在网络中进行抓取，无需当前电脑支持，电脑可以关机，可以设置多个云节点分摊任务，10个节点相当于10台电脑分配任务帮你抓取，速度降低为原来的十分之一；抓取到的数据可以在云上保存三个月，可以随时进行导出操作。

步骤4：数据抓取及导出

1）抓取完成后，选择合适的导出方式，将抓取好的数据导出

大图>>

文中用到的爬虫工具（官网），只作为演示使用，实际应用中可以替换成自己拿手的工具或代码语言即可。