python3编写网络爬虫21-scrapy框架的使用

Engine 引擎 处理整个系统的数据流处理 触发事务 是整个框架的核心

item 项目 定义了爬取结果的数据结构 爬取的数据会被赋值成该Item对象

Scheduler 调度器 接受引擎发过来的请求并将其加入队列中 在引擎再次请求的时候 将请求提供给引擎

Download 下载器 下载网页内容 并将网页内容返回给蜘蛛

Spider 蜘蛛 其内定义了爬取的逻辑和网页解析规则 它主要负责解析响应 并生成提取结果和新的请求

item Pipline 项目管理 负责处理由蜘蛛从网页中抽取的项目 它的主要任务是清洗 验证 和存储数据

Downloader Middlewares 下载器中间件 位于引擎和下载器之间的钩子框架 主要处理引擎与下载器之间的请求和响应

Spider Middlewares 蜘蛛中间件 位于引擎和蜘蛛之间的钩子框架 主要处理蜘蛛输入的响应和输出结果以及引得请求

1. Engine 首先打开一个网站 找到处理该网站的Spider 并向该Spider请求第一个要爬取的URL
2. Engine 从Spider 中获取到第一个要爬取的URL 并通过 Scheduler 以 Request 的形式调度
3. Engine 向 Scheduler 请求下一个要爬取的URL
4. Scheduler 返回下一个要爬取的URL给 Engine Engine 将URL 通过 Downloader Middlewares 转发给 Downloader下载
5. 一旦页面 下载完毕 Downloader 生成该网页的 Response 并将其通过 Downloader Middlewares 发送给 Engine
6. Engine 从下载器中接收到 Response 并将其通过 Spider Middlewares 发送给 Spider 处理
7. Spider 处理 Response 并返回爬取到的Item 及新的 Request 给 Engine
8. Engine 将 Spider 返回的 Item 给 item Pipline 将新的 Request 给 Scheduler
9. 重复第2步到第8步 直到 Scheduler 中没有更多的 Request Engine关闭该网站 爬取结束

scrapy.cfg
project/
　　__init__.py 
　　items.py
　　piplines.py
　　settings.py
　　middlewares.py
　　spiders/
　　　　__init__.py
　　　　spider1.py
　　　　spider2.py
　　　　。。。

scrapy.cfg 是Scrapy项目的配置文件 其中定义了项目的配置文件路径 部署相关信息等内容

items.py 定义了item数据结构 所有得item的定义都可以放这里

pipelines.py 定义了 item pipeline的实现 所有的 item pipeline 的实现都放在这

settings.py 定义项目的全局配置

middlewares.py 定义 Spider Middlewares 和 Downloader Middlewares的实现

spiders 内部包含一个个Spider的实现 每个Spider 都有一个文件

windows 下

安装 lxml pip install lxml 如果报错 采用wheel方式安装

安装 pyOpenSSL 官方网站 https://pypi.python.org/pypi/pyOpenSSL#downloads

安装 Twisted 下载 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

安装 PyWin32 官网 https://pypi.org/project/pywin32/#files 下载对应版本

安装scrapy pip install Scrapy 无报错信息表示安装成功

scrapy startproject tutorial

scrapy.cfg #Scrapy部署时配置文件
tutorial #项目模块 需要从这里引入
　　__init__.py 
　　items.py #items的定义 定义爬取的数据结构
　　middlewares.py # 定义爬取是的中间件
　　piplines.py # 定义数据管道
　　settings.py #配置文件
　　spiders 
　　　　__init__.py

cd tutorial
scrapy genspider quotes quotes.toscrape.com

# -*- coding: utf-8 -*-
import scrapy


class QuotesSpider(scrapy.Spider):
　　name = 'quotes'
　　allowed_domains = ['quotes.toscrape.com']
　　start_urls = ['http://quotes.toscrape.com/']

　　def parse(self, response):
　　　　pass

name 它是每个项目唯一的名字 用来区分spider

allowed_domains 允许爬取的域名 如果初始化或者后续的请求链接不再这个域名下 请求链接会被过滤掉

start_urls 包含了spider在启动时的url列表 初始请求时由它定义的

parse 方法 默认情况下 被调用 start_urls 里面的链接请求完成下载执行后 返回的响应就会作为唯一参数传递给这个函数
该方法负责解析返回的响应 提取数据或者进一步生成处理的请求

 

import scrapy


class QuoteItem(scrapy.Item):
　　text = scrapy.Field()
　　author = scrapy.Field()
　　tags = scrapy.Field()

def parse(self,response):
　　quotes = response.css('.quote')
　　for quote in quotes:
　　　　text = quote.css('.text::text').extract_first()
　　　　author = quote.css('.author::text').extract_first()
　　　　tags = quote.css('.tags .tag::text').extract()

# -*- coding: utf-8 -*-
import scrapy
from tutorial.items import QuoteItem

class QuotesSpider(scrapy.Spider):
　　name = 'quotes'
　　allowed_domains = ['quotes.toscrape.com']
　　start_urls = ['http://quotes.toscrape.com/']

　　def parse(self, response):
　　　　quotes = response.css('.quote')
　　　　for quote in quotes:
　　　　　　item = QuoteItem()
　　　　　　item['text'] = quote.css('.text::text').extract_first()
　　　　　　item['author'] = quote.css('.author::text').extract_first()
　　　　　　item['tags'] = quote.css('.tags .tag::text').extract()
　　　　　　yield item

next = response.css('.pager .next a::attr(href)').extract_first()

url = response.urljoin(next)

yield scrapy.Request(url=url,callback=self.parse)

# -*- coding: utf-8 -*-
import scrapy
from tutorial.items import QuoteItem

class QuotesSpider(scrapy.Spider):
　　name = 'quotes'
　　allowed_domains = ['quotes.toscrape.com']
　　start_urls = ['http://quotes.toscrape.com/']

　　def parse(self, response):
　　　　quotes = response.css('.quote')
　　　　for quote in quotes:
　　　　　　item = QuoteItem()
　　　　　　item['text'] = quote.css('.text::text').extract_first()
　　　　　　item['author'] = quote.css('.author::text').extract_first()
　　　　　　item['tags'] = quote.css('.tags .tag::text').extract()
　　　　　　yield item


　　　　next = response.css('.pager .next a::attr(href)').extract_first()
　　　　url = response.urljoin(next)
　　　　yield scrapy.Request(url=url, callback=self.parse)

scrapy crawl quotes

scrapy crawl quotes -o quotes.json

scrapy crawl quotes -o quotes.jl

scrapy crawl quotes -o quotes.csv
scrapy crawl quotes -o quotes.xml
scrapy crawl quotes -o quotes.pickle
scrapy crawl quotes -o quotes.marshal
scrapy crawl quotes -o ftp://user:pass@ftp.example.com/path/to/quotes.csv #需要正确配置用户名 密码 地址 输出路径 否则会报错

from scrapy.exceptions import DropItem

class TextPipeline(object):
　　def __init__(self):
　　　　self.limit = 50

　　def process_item(self,item,spider):
　　　　if item['text']:
　　　　　　if len(item['text']) > self.limit:
　　　　　　　　item['text'] = item['text'][0:self.limit].rstrip() + '...'
　　　　　　　　　　return item
　　　　else:
　　　　　　return DropItem('Missing Text')

import pymongo

class MongoPipline(object):
　　def __init__(self,mongo_url,mongo_db):
　　　　self.mongo_url = mongo_url
　　　　self.mongo_db = mongo_db
　　　　#类方法 是一种依赖注入方式 通过参数 crawler 可以拿到全局配置的每个配置信息
　　　　#在settings.py中可以定义MONGO_URL 和 MONGO_DB 来指定mongodb的连接地址和数据库名
　　　　#主要是获取settings中配置的
　　@classmethod
　　def from_crawler(cls,crawler):
　　　　return cls(
　　　　　　mongo_url = crawler.settings.get('MONGO_URL'),
　　　　　　mongo_db = crawler.settings.get('MONGO_DB')
　　　　)
　　#当Spider开启时 这个方法被调用
　　def open_spider(self,spider):
　　　　self.client = pymongo.MongoClient(self.mongo_url)
　　　　self.db = self.client[self.mongo_db]

　　#主要执行数据库插入操作
　　def process_item(self,item,spider):
　　　　name = item.__class__.__name__
　　　　self.db[name].insert(dict(item))
　　　　return item

　　#当Spider关闭时 这个方法被调用
　　def close_spider(self,spider):
　　　　self.client.close()

ITEM_PIPELINES = {
　　'tutorial.pipelines.TextPipeline': 300,
　　'tutorial.pipelines.MongoPipline': 400,
}
MONGO_URL = 'localhost'
MONGO_DB = 'tutorial'

from scrapy import Selector

body = '<html><head><title>Hello World</title></head><body></body></html>'
selector = Selector(text=body)
title = selector.xpath('//title/text()').extract_first()
print(title)

scrapy shell http://doc.scrapy.org/en/latest/_static/selectors-sample1.html

result = response.selector.xpath('//a')
result

type(result)

result.xpath('./img')

 result[0]

 result.extract()

response.xpath('//a/text()').extract() #返回文本列表

response.xpath('//a/@href').extract() #返回属性

response.xpath('//a[@href="image1.html"]/text()').extract()

resposne.xpath('//a[@href="image1.html"]/text()').extract()[0]

response.xpath('//a[@href="image1.html"]/text()').extract_first()

response.xpath('//a[@href="image1"]/text()').extract_first()

response.xpath('//a[@href="image1"]/text()').extract_first('Default Image')

 response.css('a') 

response.css('a[href="image1.html"]').extract()

response.css('a[href="image1.html"] img').extract()

response.css('a[href="image1.html"] img').extract_first()

response.css('a[href="image1.html"]::text').extract_first()

response.css('a[href="image1.html"] img::attr(src)').extract_first()

response.xpath('//a').css('img').xpath('@src').extract()

response.xpath('//a/text()').re('Name:s(.*)')

response.xpath('//a/text()').re('(.*?):s(.*)')

response.xpath('//a/text()').re_first('(.*?):s(.*)')

response.xpath('//a/text()').re_first('Name:s(.*)')

name 爬虫名称 定义Spider名字的字符串 Spider的名字定义了Scrapy如何定位并初始化 Spider 必须是唯一的 可以生成多个相同
的Spider 实例 数量没有限制 name属性是 Spider最重要的属性 如果Spider爬取单个网站 一个常见的做法就是以该网站域名名称
来命名Spider

allowed_domains 允许爬取的域名 可选配置 不再此范围内的链接不会被跟进爬取

start_urls 起始URL列表 当没有实现start_requests 方法时 默认会从这个列表抓取

custom_settings 是一个字典 是专属与 Spider的配置 此设置会覆盖项目全局的设置 此设置必须在初始化前被更新 必须定义成类变量

crawler 是由 from_crawler 方法设置的 代表是原本 Spider类对应的 Crawler 对象 包含了很多项目组件 利用它可以获取项目的一些配置信息
常见的获取项目的设置信息 settings

settings Settings 对象 利用它可以直接获取项目的全局设置变量

start_requests()

pares() 

closed()

scrapy startproject scrapydownloadertest

scrapy genspider httpbin httpbin.org

# -*- coding: utf-8 -*-
import scrapy


class HttpbinSpider(scrapy.Spider):
　　name = 'httpbin'
　　allowed_domains = ['httpbin.org']
　　start_urls = ['http://httpbin.org/get']

　　def parse(self, response):
　　　　self.logger.debug(response.text)

　　#运行 Spider scrapy crawl httpbin

　　　　"args": {},
　　　　"headers": {
　　　　"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
　　　　"Accept-Encoding": "gzip,deflate,br",
　　　　"Accept-Language": "en",
　　　　"Connection": "close",
　　　　"Host": "httpbin.org",
　　　　"User-Agent": "Scrapy/1.5.1 (+https://scrapy.org)"
　　　　},
　　　　"origin": "222.69.152.130",
　　　　"url": "https://httpbin.org/get"

USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'

import random

class RandomUserAgentMiddleware():
　　def __init__(self):
　　　　self.user_agent = [
　　　　　　'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
　　　　　　'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16',
　　　　'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
　　　　]

　　def process_request(self,request,spider):
　　　　request.headers['User-Agent'] = random.choice(self.user_agent)

DOWNLOADER_MIDDLEWARES = {
　　'scrapydownloadertest.middlewares.RandomUserAgentMiddleware': 543,
}