wget整站下载被robots.txt阻挡时的处理方法
[摘要]wget功能非常强大，可以使用wget对整站进行递归下载，但是有时候一些站点会通过配置robots.txt对访问进行限制，这里讲一个小技巧可以避开robots.txt的限制。
事件的背景是我想从mirrors.163.com的某个目录批量下载一些东西回来，比如:
wget -r -p -np http://mirrors.163.com/debian/dists/jessie/main/installer-amd64/
想法是对installer-amd64目录递归下载，但实际上wget只下载了一个index.html和一个robots.txt，下载就被终止了。
看了一下robots.txt的内容：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
# cat mirrors.163.com/robots.txt
*
media
archlinux
cn
centos
ceph
cpan
cygwin
debian
backports
cd
security
gentoo
portage
slackware
tinycorelinux
ubuntu
releases
|
于是查找了一番，发现了wget的强大之处，使用如下命令即可：
|
1
|
//mirrors.163.com/debian/dists/jessie/main/installer-amd64/
|
顺便贴出wget的使用方法：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
|
# wget -h
1.12，非交互式的网络文件下载工具。
.
长选项所必须的参数在使用短选项时也是必须的。
:
的版本信息并退出。
打印此帮助。
启动后转入后台。
wgetrc’风格的命令。
:
FILE。
FILE。
打印大量调试信息。
)。
)。
关闭详尽输出，但不进入安静模式。
URLs。
文件。
相关的
选项指定）。
:
)。
即使拒绝连接也是重试。
FILE。
不要重复下载已存在的文件。
继续下载部分下载的文件。
选择进度条类型。
只获取比本地文件新的文件。
打印服务器响应。
不下载任何文件。
秒。
秒。
秒。
秒。
秒。
秒。
秒。
关闭代理。
字节。
)。
RATE。
查寻缓存。
允许的字符。
/目录时忽略大小写。
地址。
地址。
首先连接至指定协议的地址
none。
USER。
PASS。
提示输入密码。
支持。
作为本地编码。
作为默认远程编码。
:
不创建目录。
强制创建目录。
不要创建主目录。
在目录中使用协议名称。
保存文件
个远程目录路径。
:
USER。
PASS。
不在服务器上缓存数据。
改变默认页
html”）。
文档。
Length’区域。
STRING。
每页所允许的最大重定向。
作为代理用户名。
作为代理密码。
URL’。
头保存至文件。
VERSION。
)。
cookies。
cookies。
FILE。
cookies。
作为数据发送。
内容。
当选中本地文件名时
)。
information
s
.
:
SSLv2、
中的一个。
不要验证服务器的证书。
客户端证书文件。
DER。
私钥文件。
DER。
认证的文件。
认证的哈希列表的目录。
的随机数据的文件。
套接字的文件。
:
USER。
PASS。
listing’文件。
文件名中使用通配符展开。
passive”传输模式。
)。
:
指定递归下载。
)。
下载完成后删除本地文件。
中的链接指向本地文件。
orig。
的缩写形式。
页面的图片之类的元素。
)。
:
逗号分隔的可接受的扩展名列表。
逗号分隔的要拒绝的扩展名列表。
逗号分隔的可接受的域列表。
逗号分隔的要拒绝的域列表。
链接。
标识列表。
标识列表。
递归时转向外部主机。
只跟踪有关系的链接。
允许目录的列表。
.
排除目录的列表。
不追溯至父目录。
|