python 下载文件 & 防盗链

偶然下载一种类型的资源,发现好多翻页,右键另存什么的,不胜其烦。

决定用python写几句代码搞定。核心代码如下:

from urllib import urlretrieve

from urllib import urlretrieve
urlretrieve(url,save_to_path,show_download_progress)
    

至于url,简单的用爬虫的思路得到的。非本文的重点,不再啰嗦。

问题来了,不知道为什么,下载的所有文件都是42k!

百思不得其解,应该是某种限制,脑袋不灵光,想了半天才想到,应该是防盗链。

查了下,于是用wireshark模拟了一下,发现header参数太多,弄不好每个都要设(取决于人家网站的逻辑设计),于是不管三七二十一,先给射了个Reffer。

不幸的成功了。好吧,不用再研究了,收工,特记录之。

以上问题的解决方案:

import urllib2
req = urllib2.Request('http://www.example.com/')
req.add_header('Referer', 'http://www.python.org/')
resp = urllib2.urlopen(req)
content = resp.read()

接下来,只需要吧content写到文件里面去就好了,此处略。

完整demo如下:

import urllib2

req = urllib2.Request('http://61.164.149.80/ftp1/0905/models_z/1014/3.rar')
req.add_header('Referer','http://www.coolsc.net/3D-Details/2009/10/14/29468-0.htm')
resp = urllib2.urlopen(req)
content = resp.read()
f = open(r'D:	est2.rar','wb')
f.write(content)
f.close()