【爬虫】python requests模拟登录知乎
需求：模拟登录知乎，因为知乎首页需要登录才可以查看，所以想爬知乎上的内容首先需要登录，那么问题来了，怎么用python进行模拟登录以及会遇到哪些问题？
前期准备：
环境：ubuntu，python2.7
需要的包：requests包、正则表达式包
安装requests：pip install requests，关于requests的介绍可以看官方介绍：http://cn.python-requests.org/zh_CN/latest/user/quickstart.html ， 以及 http://cuiqingcai.com/2556.html 讲的也很好，简单明了
requests包其实是代替了urllib2，并且提供了大量简洁好用的方法调用。
注意：通过Chrome Devtool可以看到知乎登录的URL是：https//www.zhihu.com/login/email，使用邮箱进行登录。
登录的方式为POST，需要的参数有四个分别是：_xsrf、password、remember_me和email，除了第一个都很好理解，那么第一个参数是什么？
XSRF为跨站请求伪造（Cross-site request forgery），通过搜集资料，在大神的博客里找到有相应资料，http://cuiqingcai.com/2076.html ，说的也很清楚，有兴趣可以查看。这个参数目的就是为了防范XSRF攻击而设置的一个hash值，每次访问主页都会生成这样一个唯一的字符串。那么怎么获取这个参数的值，经过对知乎首页（https://www.zhihu.com）的代码查看可以看到有一个隐藏的标签：
那么就好解决了，直接在爬下来的网页内容中用正则表达式去匹配就OK了。
代码：
import requests import re def getContent(url):
#使用requests.get获取知乎首页的内容 r = requests.get(url)
#request.get().content是爬到的网页的全部内容 return r.content
#获取_xsrf标签的值 def getXSRF(url):
#获取知乎首页的内容 content = getContent(url)
#正则表达式的匹配模式 pattern = re.compile('.*?<input type="hidden" name="_xsrf" value="(.*?)"/>.*?')
#re.findall查找所有匹配的字符串 match = re.findall(pattern, content) xsrf = match[0]
#返回_xsrf的值 return xsrf
#登录的主方法 def login(baseurl,email,password):
#post需要的表单数据，类型为字典 login_data = { '_xsrf': getXSRF(baseurl), 'password': password, 'remember_me': 'true', 'email': email, }
#设置头信息 headers_base = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 'Accept-Encoding': 'gzip, deflate, sdch', 'Accept-Language': 'en-US,en;q=0.8,zh-CN;q=0.6,zh;q=0.4,zh-TW;q=0.2', 'Connection': 'keep-alive', 'Host': 'www.zhihu.com', 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.130 Safari/537.36', 'Referer': 'http://www.zhihu.com/', } #使用seesion登录，这样的好处是可以在接下来的访问中可以保留登录信息 session = requests.session()
#登录的URL baseurl += "/login/email"
#requests 的session登录，以post方式，参数分别为url、headers、data content = session.post(baseurl, headers = headers_base, data = login_data)
#成功登录后输出为 {"r":0,
#"msg": "u767bu9646u6210u529f"
#} print content.text
#再次使用session以get去访问知乎首页，一定要设置verify = False，否则会访问失败 s = session.get("http://www.zhihu.com", verify = False) print s.text.encode('utf-8')
#把爬下来的知乎首页写到文本中 f = open('zhihu.txt', 'w') f.write(s.text.encode('utf-8'))
url = "http://www.zhihu.com" #进行登录，将星号替换成你的知乎登录邮箱和密码即可 login(url,"******@***.com","************")
最后，就成功把知乎首页的内容抓取下来了！下一步可以进行分析和筛选了。