scrapy框架简介和基础应用

一、Scrapy介绍

1、Scrapy是什么

　　Scrapy 是一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

2、何谓框架

　　所谓框架其实就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的用法即可。
　　scrapy和requests、bs4的关系，可以做如下类比：

requests + bs4 => socket
scrapy框架 => django

　　Scrapy 是基于twisted框架开发而来，twisted是一个流行的事件驱动的python网络框架。因此Scrapy使用了一种非阻塞（又名异步）的代码来实现并发（基于Twisted实现单线程并发下载页面）。也具备解析下载内容功能、帮助实现“递归”、帮助完成数据持久化（数据写入硬盘或数据库）、还具备一些扩展性功能（自定义组件）。

二、Scrapy核心组件

1、五大组件介绍

• 引擎(Scrapy)
  用来处理整个系统的数据流处理, 触发事务(框架核心)
• 管道(Pipeline)
  负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据。
• 调度器(Scheduler)
  用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址。
• 下载器(Downloader)
  用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)
• 爬虫文件(Spiders)
  爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面

2、五大核心组件工作流程

　　引擎首先会将爬虫文件中的起始url获取，并提交到调度器中。如果需要从url中下载数据，则调度器会将url通过引擎提交给下载器，下载器根据url去下载指定内容（响应器）。下载好的数据会通过引擎移交给爬虫文件，爬虫文件可以将下载的数据进行指定格式的解析。如果解析出的数据需要进行持久化存储，则爬虫文件会将解析好的数据通过引擎移交给管道进行持久化存储。

三、Scrapy安装

1、Windows平台

1、安装wheel
    pip3 install wheel   # 安装后，便支持通过wheel文件安装软件，wheel文件官网：https://www.lfd.uci.edu/~gohlke/pythonlibs
2、下载twisted（Scrapy基于twisted框架）：
    http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
    安装twisted:
    进入下载目录，执行： 
    pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl
3、下载并安装pywin32：    
    pip3 install pywin32
4、安装scrapy
    pip3 install scrapy

2、Linux平台

    pip3 install scrapy

四、Scrapy基础使用

1、使用流程

（1）创建一个工程

　　切换到项目目录后，执行创建项目的命令，爬虫项目即创建成功。

$ scrapy startproject firstPro(工程名称)

• 目录结构
  　　用pycharm打开创建的工程，可以看到如下目录结构。

project_name/
|--scrapy.cfg                # 项目的主配置信息。（真正爬虫相关的配置信息在settings.py文件中）
|--project_name/
    |--__init__.py
    |--items.py               # 设置数据存储模板，用于结构化数据，如Django的Model
    |--pipelines.py           # 数据持久化处理
    |--settings.py            # 配置文件(一般修改这里)，如：递归的层数、并发数，延迟下载等
    |--spiders/               # 爬虫目录，如：创建文件，编写爬虫解析规则
         |--__init__.py

（2）创建爬虫应用程序

$ pwd
/Users/hqs/ScrapyProjects/firstBlood
$ scrapy genspider qiubai www.qiushibaike.com
Created spider 'qiubai' using template 'basic' in module:
  firstBlood.spiders.qiubai

　　执行成功后，就可以在项目的spiders目录下找到新生成的爬虫文件了。

　　1）创建爬虫程序语法

scrapy genspider 应用名称 爬取网页的起始url

　　2）创建的爬虫文件内容模板

# -*- coding: utf-8 -*-
import scrapy

class QiubaiSpider(scrapy.Spider):  # Spider是所有爬虫的父类
    name = 'qiubai'   # 爬虫文件的名称：通过爬虫文件的名称可以指定定位到某一个具体的爬虫文件
    allowed_domains = ['www.qiushibaike.com']   # 允许的域名：只爬取指定域名下的页面数据
    start_urls = ['http://www.qiushibaike.com/']   # 起始url：当前工程将要爬取页面对应的url

    def parse(self, response):
        """
        解析方法：对获取的页面数据进行指定内容解析
        :param response: 根据起始url列表发起请求，请求成功返回的响应对象
        :return:
        """
        pass

（3）编写爬虫文件

# -*- coding: utf-8 -*-
import scrapy


class QiubaiSpider(scrapy.Spider):  # Spider是所有爬虫的父类
    name = 'qiubai'   # 爬虫文件的名称：通过爬虫文件的名称可以指定定位到某一个具体的爬虫文件
    allowed_domains = ['www.qiushibaike.com']   # 允许的域名：只爬取指定域名下的页面数据
    start_urls = ['http://www.qiushibaike.com/']   # 起始url：当前工程将要爬取页面对应的url

    def parse(self, response):
        """
        解析方法：对获取的页面数据进行指定内容解析
        :param response: 根据起始url列表发起请求，请求成功返回的响应对象
        :return:
        """
        print(response.text)  # 获取字符串类型的响应内容
        # print(response.body)  # 获取字节类型的相应内容

        # 注意：parse方法的返回值必须是迭代器或空
        # 未指定返回值时，返回值默认为空

（4）修改settings.py配置文件

# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36' # 伪装请求载体身份

# Obey robots.txt rules
ROBOTSTXT_OBEY = False   # 不遵从门户网站robots协议，避免某些信息爬取不到

注意：
　　（1）取消USER_AGENT注释，这里给它添加火狐浏览器身份标识，以伪装请求载体身份。
　　（2）将ROBOTSTXT_BOE修改为False，即不遵守门户网站的robots协议，避免某些信息爬取不到。（这个可视情况决定是否遵守）

（5）执行爬虫程序：

# scrapy crawl  应用名称 --nolog(阻止日志信息输出)
$ scrapy crawl qiubai

　　添加 '--nolog' 参数可以阻止日志信息的输出，只输出爬取的页面数据。

2、指定页面数据解析操作示例

　　需求：糗百中段子的内容和作者。
　　依然使用之前创建的项目，因此省略流程第一步的工程创建操作。

(1)创建爬虫文件（第二步）

$ pwd
/Users/hqs/ScrapyProjects/firstBlood
$ scrapy genspider qiubaipro www.qiushibaike.com/text
Created spider 'qiubaipro' using template 'basic' in module:
  firstBlood.spiders.qiubaipro

(2)xpath指定内容解析

　　Scrapy已经集成好了xpath解析的接口，因此推荐使用xpath进行指定内容的解析。
　　Control-Shift-X开启xpath插件。

(3)编写代码（第三步）

import scrapy

class QiubaiproSpider(scrapy.Spider):
    name = 'qiubaipro'
    # allowed_domains = ['www.qiushibaike.com/text']  # 图片等信息可能不属于指定域名之下
    start_urls = ['https://www.qiushibaike.com/text/']  # 注意修改默认协议头

    def parse(self, response):
        # 建议使用xpath来执行指定内容的解析（Scrapy已经集成好了xpath解析的接口）
        # 段子的内容和作者
        div_list = response.xpath('//div[@]/div')
        for div in div_list:
            # 通过xpath解析到的指定内容被存储到了selector对象中
            # 需要通过extract()方法来提取selector对象中存储的数据值
            # 方法一：
            # author = div.xpath('./div/a[2]/h2/text()').extract()[0]  # './'表示解析当前局部div; a[2]表示第二个a标签
            # 方法二：extract_first()等同于extract()[0]
            author = div.xpath('./div/a[2]/h2/text()').extract_first()
            content = div.xpath('.//div[@class="content"]/span/text()').extract_first()  # './/'表示当前局部所有元素；@class匹配类属性

            print(author)

注意：
　　1）第四步的修改配置文件也省略，配置方法见前面一节。
　　2）xpath解析的指定内容被存储到了selector对象中。
　　3）可以通过extract()方法来提取selector对象中存储的数据值。
　　4）selector对象和extract方法

使用extract()方法前：
[<Selector xpath='./div/a[2]/h2/text()' data='
南九
'>]
[<Selector xpath='./div/a[2]/h2/text()' data='
无书斋主
'>]
[<Selector xpath='./div/a[2]/h2/text()' data='
请闭上眼睛里
'>]

使用extract()方法后：
['
好吃的焦糖饼干～
']
['
艾玛*^o^*ZW…
']
['
嘻嘻嘻，一
']

　　5）extract_first()等同于extract()[0]

(4)执行代码（第五步）

# scrapy crawl 爬虫名称 ：该种执行形式会显示执行的日志信息
# scrapy crawl 爬虫名称 --nolog：该种执行形式不会显示执行的日志信息
$ scrapy crawl qiubaipro --nolog

五、更多文档参考

Scrapy 0.25 文档
wupeiqi的Scrapy
爬虫框架：scrapy