python爬取某些网站出错的解决办法
用urllib2.urlopen方法打开糗事百科的网站，http://www.qiushibaike.com/，发现会失败，网上百度，说可能是服务器端对爬虫做了屏蔽，需要伪装header头部信息，下面的代码来自于http://bbs.csdn.net/topics/390736795
伪装的头部信息
只要在请求中加上伪装成浏览器的header就可以了，比如：
headers = {
'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
}
req = urllib2.Request(
url = "http://m.qiushibaike.com/hot/page/1" ,
headers = headers
)
myResponse = urllib2.urlopen(req)