有关问题标签用户 关于python urllib2.urlopen批量打开网页，有网页打不开的有关问题
问题标签用户 关于python urllib2.urlopen批量打开网页，有网页打不开的问题
我使用urllib2.urlopen批量打开多个网页，经常会有网页打不开。
比如说我依次开10个网页，网页的域名都一样（如http://item.taobao.com/item.htm?id=），只是具体的地址不一样（ID的值不一样），总有几个网页返回的是空数据。
我试过的打开网页的三种方式：
1 直接打开网页
req = urllib2.urlopen(url)
2 加入HTTP头
request = urllib2.Request()
request.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1')
req = urllib2.urlopen(request)`
3 用代理打开
proxy_support = urllib2.ProxyHandler({'http': 'http://121.9.231.82:9999'})
opener = urllib2.build_opener(proxy_support, urllib2.HTTPHandler)
urllib2.install_opener(opener)
也尝试过2与3的结合，但总是有网页返回空数据（req.read() == ''）。每次运行程序，打不开网页的URL总是稳定的，
烦请各位高手，大侠分析下原因，小弟在此先谢过了
PS:浏览器访问都是没有问题的
------解决方案--------------------
这个可能性很多，你最好用一下抓包工具检测
我说两个可能的原因吧
1.访问太频繁，网路响应不及时，我这边百兆光纤也有迟缓或需要刷新的情况
2.淘宝是好多服务器存放数据的，浏览器一般可以缓存DNS，但自己写程序最好自己也做这个工作。我这边的ISP DNS现在已经不堪负荷，所以运行爬虫前我一般会把列表内的域名都nslookup一次写入HOSTS～
我使用urllib2.urlopen批量打开多个网页，经常会有网页打不开。
比如说我依次开10个网页，网页的域名都一样（如http://item.taobao.com/item.htm?id=），只是具体的地址不一样（ID的值不一样），总有几个网页返回的是空数据。
我试过的打开网页的三种方式：
1 直接打开网页
req = urllib2.urlopen(url)
2 加入HTTP头
request = urllib2.Request()
request.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1')
req = urllib2.urlopen(request)`
3 用代理打开
proxy_support = urllib2.ProxyHandler({'http': 'http://121.9.231.82:9999'})
opener = urllib2.build_opener(proxy_support, urllib2.HTTPHandler)
urllib2.install_opener(opener)
也尝试过2与3的结合，但总是有网页返回空数据（req.read() == ''）。每次运行程序，打不开网页的URL总是稳定的，
烦请各位高手，大侠分析下原因，小弟在此先谢过了
PS:浏览器访问都是没有问题的
------解决方案--------------------
这个可能性很多，你最好用一下抓包工具检测
我说两个可能的原因吧
1.访问太频繁，网路响应不及时，我这边百兆光纤也有迟缓或需要刷新的情况
2.淘宝是好多服务器存放数据的，浏览器一般可以缓存DNS，但自己写程序最好自己也做这个工作。我这边的ISP DNS现在已经不堪负荷，所以运行爬虫前我一般会把列表内的域名都nslookup一次写入HOSTS～