爬虫配置搜狗微信稿件技巧总结（必看篇）

本文演示无需代码可视化的方法抓取搜狗微信文章的方法。。

在开始之前，可以先参考一下这些文章，希望有帮助：
小白30分钟学会网页爬虫
网页爬虫真实案例记录

文中用到的可视化爬虫制作工具（官网），只作为演示使用，实际应用中可以替换成自己拿手的工具或代码语言即可。

演示网址：http://weixin.sogou.com/

搜狗微信搜素：搜狗微信搜索是搜狗在2014年 9日推出的一款针对微信 平台而设立的。“微信搜索”支持搜索微信 号和微信文章，可以 关键词搜索相关的微信 号，或者是微信 号 的文章。不仅仅在PC端，搜狗的移动搜索客户端同样会进行相关的微信 号 。

搜狗微信文章抓取数据说明：本文进行了搜狗微信-搜索-大数据的所有文章信息抓取。本文仅以“搜狗微信-搜索-大数据的所有文章信息抓取”为例。大家在实操过程中，可根据自身需求，更换搜狗微信的搜索词进行数据抓取。

搜狗微信文章抓取详细抓取字段说明：微信文章标题、微信文章关键字、微信文章概括、微信 号名称、微信文章发布时间、微信文章地址。

步骤1：创建抓取任务1）进入主界面，选择“自定义模式”

大图>>

2）将要抓取的网址URL复制粘贴到网站输入框中， “保存网址”

大图>>

步骤2：创建翻页循环

1）打开右上角的“流程”。 页面中的文章搜索框，在右侧的操作提示框中，选择“输入 ”

大图>>

2）输入要搜索的文章信息，这里以搜索“大数据”为例，输入完成后， “确定”按钮

大图>>

3）“大数据”会自动填充到搜索框， “搜文章”按钮，在操作提示框中，选择“ 该按钮”

大图>>

4）页面 现了“大数据”的文章搜索结果。将结果页面下拉到底部， “下一页”按钮，在右侧的操作提示框中，选择“循环 下一页”

大图>>

步骤3：创建列表循环并提取数据1）移动鼠标，选中页面里第一篇文章的区块。系统会识别此区块中的子元素，在操作提示框中，选择“选中子元素”

大图>>

2）继续选中页面中第二篇文章的区块，系统会自动选中第二篇文章中的子元素，并识别出页面中的其他10组同类元素，在操作提示框中，选择“选中全部”

大图>>

3）我们可以看到，页面中文章区块里的所有元素均被选中，变为绿色。右侧操作提示框中，出现字段预览表，将鼠标移到表头，  桶图标，可删除不需要的字段。字段选择完成后，选择“抓取以下数据”

大图>>

4）由于我们还想要抓取每篇文章的URL，因而还需要提取一个字段。 第一篇文章的链接，再 第二篇文章的链接，系统会自动选中页面中的一组文章链接。在右侧操作提示框中，选择“抓取以下链接地址”

大图>>

5）字段选择完成后，选中相应的字段，可以进行字段的自定义命名。完成后， 左上角的“保存并启动”，启动抓取任务

大图>>

6）选择“启动本地抓取”

大图>>

步骤4：数据抓取及导出

1）抓取完成后，会跳出提示，选择“导出数据”，选择“合适的导出方式”，将抓取好的搜狗微信文章的数据导出

大图>>

2）这里我们选择excel作为导出为格式，数据导出后如下图

大图>>

文中用到的可视化爬虫制作工具（官网），只作为演示使用，实际应用中可以替换成自己拿手的工具或代码语言即可。