wget介绍和命令总结
参考资料:
https://www.cnblogs.com/ftl1012/p/9265699.html
https://www.cnblogs.com/lsdb/p/7171779.html
curl和wget都是Linux下常用的下载工具,区别在于,curl可以自定义各种请求参数,所以在模拟web请求方面更擅长;而wget由于支持ftp和递归(recursive)下载,所以在下载文件方面更擅长。类比的话curl好比浏览器,而wget是迅雷。
因为计网实验的原因接触了wget,之前虽也有所耳闻但是却只知有这个下载工具,不知怎么使用,有什么功能。下面总结一下学到的wget常用的命令,以便日后查阅,有需求时深入学习。
首先给出最实用的几个命令:
wget -c + URL或者文件名 # 支持断点续传的下载 wget -b + URL或者文件名 # 后台下载 wget -i list # 预先给定URL列表,下载list中URL对应的文件 wget -x -r -A "*.txt" + URL 一般为目录 # 递归的下载目标目录下所有的目录和文件,并在本地创建对应文件目录 wget -nd -r -A "*.txt" + URL 一般为目录 # 递归的下载目标目录下所有的目录和文件,并不在本地创建对应文件目录 wget –x –r –R "*.txt" + URL 一般为目录 # 递归下载除某后缀之外的文件,并创建目录结构 wget –nd –r –R "*.txt" + URL 一般为目录 # 递归下载除某后缀之外的文件,并不创建目录结构 wget –m + URL 一般为目录 # 创建镜像,即完全copy
这里补充一下递归下载的概念,这是一个很重要的特性。我们经常会听到递归搜索,递归下载。这里的递归指的是在当前目录和所有子目录。如果不使用递归下载,则只会下载当前文件夹下的文件,而忽略当前文件夹下的目录。也就是说子目录和子目录下的文件都不会被下载。
下面罗列一些wget命令的常用参数:
参数 |
参数含义 |
‐‐help |
显示 wget 的联机帮助,本表中仅仅给出了部分参数的使用,更详 细的参数使用请查阅联机帮助 |
‐A |
|
‐b |
|
‐t [nuber of times] |
|
‐c |
断点续传,这也是个非常有用的设置,特别当下载比较大的文件 的时候,如果中途意外中断,那么连接恢复的时候会从上次没传 完的地方接着传,而不是又从头开始 |
‐T [number of sec] |
|
‐w [number of seco] |
|
‐Q [byetes] |
|
‐nd |
不下载目录结构,把从服务器所有指定目录下载的文件都堆到当 前目录里 |
‐x |
|
‐nH |
不创建以目标主机域名为目录名的目录,将目标主机的目录结构 直接下到当前目录下 |
‐‐http‐user=xxx |
如果 Web 服务器需要指定用户名和口令,用这两项来设定 |
‐‐http‐passwd=xxx |
|
‐i download_list |
下载文件“download_list”中列出的所有 URL |
‐k |
将链接转换为本地连接 |
‐‐proxy‐user=xxx |
如果代理服务器需要输入用户名和口令,使用这两个选项 |
‐‐proxy‐passwd=xxx |
|
‐r |
‐‐recursive specify recursive download |
‐R |
|
‐l [depth] |
|
‐m |
做站点镜像时的选项,如果你想做一个站点的镜像 |
‐np |
只下载目标站点指定目录及其子目录的内容 |