python 第二周(第八天) 我的python成长记 一个月搞定python数据挖掘!(15)

scrapy爬虫

企业级爬虫:python开发的一个快速,高层次的web抓取框架,用于抓取web站点并从页面提取结构化的数据。

scrapy用途广泛,可用于数据挖掘,数据监测和自动化测试  http://scrapy.org/

 

scrapy startproject proName

scrapy genspider  nameSpider "startURL"

scrapy crawl nameSpider