网页爬虫之美团商家评述数据的采集规则配置方法

本文演示使用八爪鱼抓取美团商家评论数据的方法。。

在开始之前，可以先参考一下这些文章，希望有帮助：
小白30分钟学会网页爬虫
网页爬虫真实案例记录

文中用到的爬虫工具（官网），只作为演示使用，实际应用中可以替换成自己拿手的工具或代码语言即可。

演示网址：http://item.jd.com/11221162.html#comment

使用功能点：

· Ajax翻页 功能详情说明

· 分页内容提取 功能详情说明

步骤1：创建抓取任务

1）进入主界面，选择“自定义模式”

大图>>

2）将上面网址的网址复制粘贴到网站输入框中， “保存网址”

大图>>

3）保存网址后，页面将在抓取器中打开，红色方框中的评价信息是这次演示要抓取的内容

大图>>

步骤2：创建翻页循环

找到翻页按钮，设置翻页循环

设置ajax翻页时间

1）如图，找到翻页按钮， 后，在右侧操作提示框中，选择“更多操作”

大图>>

2）在右侧操作提示框中，选择“循环 单个链接”

大图>>

由于页面使用了ajax加载技术，需要对 元素及翻页步骤设置ajax延时加载。在右侧的高级选项框中，勾选Ajax加载数据，选择合适的超时时间，一般设置2秒；最后 确定

大图>>

注意： 右上角的“流程”按钮，即可展现出可视化流程图。

步骤3：评论信息抓取

选中需要抓取的字段信息，创建抓取列表

编辑抓取字段名称

1）移动鼠标选中评论框，右键 ，如图所示，评论框中数据会被全部选中，变成红色， 右侧提示中“选中子元素”

大图>>

2）评论页中适配的内容会变成绿色，在右侧操作提示框中，查看提取的字段，可以将不需要的字段删除， 右侧“选中全部”

大图>>

注意： 鼠标放在提示框中的字段上会出现一个删除标识， 即可删除该字段。

大图>>

3） “抓取以下数据”

大图>>

4）修改抓取字段名，并 下方提示中的“保存并开始抓取”

大图>>

5）根据抓取的情况选择合适的抓取方式，这里选择“启动本地抓取”

大图>>

说明：本地抓取占用当前电脑资源进行抓取，如果存在抓取时间要求或当前电脑无法长时间进行抓取可以使用云抓取功能，云抓取在网络中进行抓取，无需当前电脑支持，电脑可以关机，可以设置多个云节点分摊任务，10个节点相当于10台电脑分配任务帮你抓取，速度降低为原来的十分之一；抓取到的数据可以在云上保存三个月，可以随时进行导出操作。

步骤4：数据抓取及导出

1）选择合适的导出方式，将抓取好的数据导出

大图>>

文中用到的爬虫工具（官网），只作为演示使用，实际应用中可以替换成自己拿手的工具或代码语言即可。