命令行下載工具(wget)

wget 命令行下載工具,支持http/ftp 用法:(續(xù)傳用參數(shù) -C)

使用方法：
wget的使用形式是：
wget [參數(shù)列表] URL
首先來(lái)介紹一下wget的主要參數(shù)：
· -b：讓wget在后臺(tái)運(yùn)行，記錄文件寫在當(dāng)前目錄下"wget-log"文件中；
· -t [nuber of times]：嘗試次數(shù)，當(dāng)wget無(wú)法與服務(wù)器建立連接時(shí)，嘗試連接多少次
。比如"-t
120"表示嘗試120次。當(dāng)這一項(xiàng)為"0"的時(shí)候，指定嘗試無(wú)窮多次直到連接成功為止，這個(gè)
設(shè)置非常有用，當(dāng)對(duì)方服務(wù)器突然關(guān)機(jī)或者網(wǎng)絡(luò)突然中斷的時(shí)候，可以在恢復(fù)正常后繼續(xù)
下載沒(méi)有傳完的文件；
· -c：斷點(diǎn)續(xù)傳，這也是個(gè)非常有用的設(shè)置，特別當(dāng)下載比較大的文件的時(shí)候，如果中
途意外中斷，那么連接恢復(fù)的時(shí)候會(huì)從上次沒(méi)傳完的地方接著傳，而不是又從頭開始，使
用這一項(xiàng)需要遠(yuǎn)程服務(wù)器也支持?jǐn)帱c(diǎn)續(xù)傳，一般來(lái)講，基于UNIX/Linux的Web/FTP服務(wù)器
都支持?jǐn)帱c(diǎn)續(xù)傳；
· -T [number of seconds]：超時(shí)時(shí)間，指定多長(zhǎng)時(shí)間遠(yuǎn)程服務(wù)器沒(méi)有響應(yīng)就中斷連接
，開始下一次嘗試。比如"-T
120"表示如果120秒以后遠(yuǎn)程服務(wù)器沒(méi)有發(fā)過(guò)來(lái)數(shù)據(jù)，就重新嘗試連接。如果網(wǎng)絡(luò)速度比
較快，這個(gè)時(shí)間可以設(shè)置的短些，相反，可以設(shè)置的長(zhǎng)一些，一般最多不超過(guò)900，通常
也不少于60，一般設(shè)置在120左右比較合適；
· -w [number of seconds]：在兩次嘗試之間等待多少秒，比如"-w 100"表示兩次嘗試
之間等待100秒；
· -Y on/off：通過(guò)／不通過(guò)代理服務(wù)器進(jìn)行連接；
· -Q [byetes]：限制下載文件的總大小最多不能超過(guò)多少，比如"-Q2k"表示不能超過(guò)2K
字節(jié)，"-Q3m"表示最多不能超過(guò)3M字節(jié)，如果數(shù)字后面什么都不加，就表示是以字節(jié)為單
位，比如"-Q200"表示最多不能超過(guò)200字節(jié)；
· -nd：不下載目錄結(jié)構(gòu)，把從服務(wù)器所有指定目錄下載的文件都堆到當(dāng)前目錄里；
· -x：與"-nd"設(shè)置剛好相反，創(chuàng)建完整的目錄結(jié)構(gòu)，例如"wget -nd
http://www.gnu.org"將創(chuàng)建在當(dāng)前目錄下創(chuàng)建"www.gnu.org"子目錄，然后按照服務(wù)器
實(shí)際的目錄結(jié)構(gòu)一級(jí)一級(jí)建下去，直到所有的文件都傳完為止；
· -nH：不創(chuàng)建以目標(biāo)主機(jī)域名為目錄名的目錄，將目標(biāo)主機(jī)的目錄結(jié)構(gòu)直接下到當(dāng)前目
錄下；
· --http-user=username
· --http-passwd=password：如果Web服務(wù)器需要指定用戶名和口令，用這兩項(xiàng)來(lái)設(shè)定；
· --proxy-user=username
· --proxy-passwd=password：如果代理服務(wù)器需要輸入用戶名和口令，使用這兩個(gè)選項(xiàng)
；
· -r：在本機(jī)建立服務(wù)器端目錄結(jié)構(gòu)；
· -l [depth]：下載遠(yuǎn)程服務(wù)器目錄結(jié)構(gòu)的深度，例如"-l 5"下載目錄深度小于或者等
于5以內(nèi)的目錄結(jié)構(gòu)或者文件；
· -m：做站點(diǎn)鏡像時(shí)的選項(xiàng)，如果你想做一個(gè)站點(diǎn)的鏡像，使用這個(gè)選項(xiàng)，它將自動(dòng)設(shè)
定其他合適的選項(xiàng)以便于站點(diǎn)鏡像；
· -np：只下載目標(biāo)站點(diǎn)指定目錄及其子目錄的內(nèi)容。這也是一個(gè)非常有用的選項(xiàng)，我們
假設(shè)某個(gè)人的個(gè)人主頁(yè)里面有一個(gè)指向這個(gè)站點(diǎn)其他人個(gè)人主頁(yè)的連接，而我們只想下載
這個(gè)人的個(gè)人主頁(yè)，如果不設(shè)置這個(gè)選項(xiàng)，甚至--有可能把整個(gè)站點(diǎn)給抓下來(lái)，這顯然是
我們通常不希望的；
ü 如何設(shè)定wget所使用的代理服務(wù)器
wget可以使用用戶設(shè)置文件".wgetrc"來(lái)讀取很多設(shè)置，我們這里主要利用這個(gè)文件來(lái)是
設(shè)置代理服務(wù)器。使用者用什么用戶登錄，那么什么用戶主目錄下的".wgetrc"文件就起
作用。例如，"root"用戶如果想使用".wgetrc"來(lái)設(shè)置代理服務(wù)器，"/root/.wgert"就起
作用，下面給出一個(gè)".wge
trc"文件的內(nèi)容，讀者可以參照這個(gè)例子來(lái)編寫自己的"wgetrc"文件：
http-proxy = 111.111.111.111:8080
ftp-proxy = 111.111.111.111:8080
這兩行的含義是，代理服務(wù)器IP地址為：111.111.111.111，端口號(hào)為：80。第一行指定
HTTP協(xié)議所使用的代理服務(wù)器，第二行指定FTP協(xié)議所使用的代理服務(wù)器。
第二篇：
$ wget --help
GNU Wget 1.9.1，非交互式的網(wǎng)絡(luò)文件下載工具。
用法： wget [選項(xiàng)]... [URL]...
長(zhǎng)選項(xiàng)必須用的參數(shù)在使用短選項(xiàng)時(shí)也是必須的。
啟動(dòng)：
-V,　--version　　　　　 顯示 Wget 的版本并且退出。
-h,　--help　　　　　　　打印此幫助。
-b,　-background　　　　 啟動(dòng)后進(jìn)入后臺(tái)操作。
-e,　-execute=COMMAND　　運(yùn)行‘.wgetrc’形式的命令。
日志記錄及輸入文件：
-o,　--output-file=文件　　 將日志消息寫入到指定文件中。
-a,　--append-output=文件　 將日志消息追加到指定文件的末端。
-d,　--debug　　　　　　　　打印調(diào)試輸出。
-q,　--quiet　　　　　　　　安靜模式(不輸出信息)。
-v,　--verbose　　　　　　　 詳細(xì)輸出模式(默認(rèn))。
-nv, --non-verbose　　　　　關(guān)閉詳細(xì)輸出模式，但不進(jìn)入安靜模式。
-i,　--input-file=文件　　　下載從指定文件中找到的 URL。
-F,　--force-html　　　　　 以 HTML 方式處理輸入文件。
-B,　--base=URL　　　　　　 使用 -F -i 文件選項(xiàng)時(shí)，在相對(duì)鏈接前添加指定的 URL。
下載：
-t,　--tries=次數(shù)　　　　　　 配置重試次數(shù)（0 表示無(wú)限）。
--retry-connrefused　　　即使拒絕連接也重試。
-O　 --output-document=文件　 將數(shù)據(jù)寫入此文件中。
-nc, --no-clobber　　　　　　 不更改已經(jīng)存在的文件，也不使用在文件名后
添加 .#（# 為數(shù)字）的方法寫入新的文件。
-c,　--continue　　　　　　　 繼續(xù)接收已下載了一部分的文件。
--progress=方式　　　　　選擇下載進(jìn)度的表示方式。
-N,　--timestamping　　　　　 除非遠(yuǎn)程文件較新，否則不再取回。
-S,　--server-response　　　　顯示服務(wù)器回應(yīng)消息。
--spider　　　　　　　　 不下載任何數(shù)據(jù)。
-T,　--timeout=秒數(shù)　　　　　 配置讀取數(shù)據(jù)的超時(shí)時(shí)間 (秒數(shù))。
-w,　--wait=秒數(shù)　　　　　　　接收不同文件之間等待的秒數(shù)。
--waitretry=秒數(shù)　　　　 在每次重試之間稍等一段時(shí)間 (由 1 秒至指定的 秒數(shù)不等)。
--random-wait　　　　　　接收不同文件之間稍等一段時(shí)間(由 0 秒至　2*WAIT 秒不等)。
-Y,　--proxy=on/off　　　　　 打開或關(guān)閉代理服務(wù)器。
-Q,　--quota=大小　　　　　　 配置接收數(shù)據(jù)的限額大小。
--bind-address=地址　　　使用本機(jī)的指定地址 (主機(jī)名稱或 IP) 進(jìn)行連接。
--limit-rate=速率　　　　限制下載的速率。
--dns-cache=off　　　　　禁止查找存于高速緩存中的 DNS。
--restrict-file-names=OS 限制文件名中的字符為指定的 OS (操作系統(tǒng)) 所允許的字符。
目錄：
-nd　--no-directories　　　　　　不創(chuàng)建目錄。
-x,　--force-directories　　　　 強(qiáng)制創(chuàng)建目錄。
-nH, --no-host-directories　　　 不創(chuàng)建含有遠(yuǎn)程主機(jī)名稱的目錄。
-P,　--directory-prefix=名稱　　 保存文件前先創(chuàng)建指定名稱的目錄。
--cut-dirs=數(shù)目　　　　　　 忽略遠(yuǎn)程目錄中指定數(shù)目的目錄層。
HTTP 選項(xiàng)：
--http-user=用戶　　配置 http 用戶名。
--http-passwd=密碼　　配置 http 用戶密碼。
-C,　--cache=on/off　　　　(不)使用服務(wù)器中的高速緩存中的數(shù)據(jù) (默認(rèn)是使用的)。
-E,　--html-extension　　　將所有 MIME 類型為 text/html 的文件都加上 .html 擴(kuò)展文件名。
--ignore-length　　　 忽略“Content-Length”文件頭字段。
--header=字符串　　　　 在文件頭中添加指定字符串。
--proxy-user=用戶　 配置代理服務(wù)器用戶名。
--proxy-passwd=密碼　 配置代理服務(wù)器用戶密碼。
--referer=URL　　　　 在 HTTP 請(qǐng)求中包含“Referer：URL”頭。
-s,　--save-headers　　　　將 HTTP 頭存入文件。
-U,　--user-agent=AGENT　　標(biāo)志為 AGENT 而不是 Wget/VERSION。
--no-http-keep-alive　禁用 HTTP keep-alive（持久性連接）。
--cookies=off　　　　 禁用 cookie。
--load-cookies=文件　 會(huì)話開始前由指定文件載入 cookie。
--save-cookies=文件　 會(huì)話結(jié)束后將 cookie 保存至指定文件。
--post-data=字符串　　使用 POST 方法，發(fā)送指定字符串。
--post-file=文件　　　使用 POST 方法，發(fā)送指定文件中的內(nèi)容。
HTTPS (SSL) 選項(xiàng)：
--sslcertfile=文件　　 可選的客戶段端證書。
--sslcertkey=密鑰文件　對(duì)此證書可選的“密鑰文件”。
--egd-file=文件　　　　EGD socket 文件名。
--sslcadir=目錄　　　　 CA 散列表所在的目錄。
--sslcafile=文件　　　包含 CA 的文件。
--sslcerttype=0/1　　　Client-Cert 類型 0=PEM (默認(rèn)) / 1=ASN1 (DER)
--sslcheckcert=0/1　　 根據(jù)提供的 CA 檢查服務(wù)器的證書
--sslprotocol=0-3　　　選擇 SSL 協(xié)議；0=自動(dòng)選擇，
1=SSLv2 2=SSLv3 3=TLSv1
FTP 選項(xiàng)：
-nr, --dont-remove-listing　 不刪除“.listing”文件。
-g,　--glob=on/off　　　　　 設(shè)置是否展開有通配符的文件名。
--passive-ftp　　　　　 使用“被動(dòng)”傳輸模式。
--retr-symlinks　　　　 在遞歸模式中，下載鏈接所指示的文件(連至目錄
則例外）。
遞歸下載：
-r,　--recursive　　　　　遞歸下載。
-l,　--level=數(shù)字　　　　 最大遞歸深度(inf 或 0 表示無(wú)限)。
--delete-after　　　 刪除下載后的文件。
-k,　--convert-links　　　將絕對(duì)鏈接轉(zhuǎn)換為相對(duì)鏈接。
-K,　--backup-converted　 轉(zhuǎn)換文件 X 前先將其備份為 X.orig。
-m,　--mirror　　　　　　 等效于 -r -N -l inf -nr 的選項(xiàng)。
-p,　--page-requisites　　下載所有顯示完整網(wǎng)頁(yè)所需的文件，例如圖像。
--strict-comments　　打開對(duì) HTML 備注的嚴(yán)格(SGML)處理選項(xiàng)。
遞歸下載時(shí)有關(guān)接受/拒絕的選項(xiàng)：
-A,　--accept=列表　　　　　　　　接受的文件樣式列表，以逗號(hào)分隔。
-R,　--reject=列表　　　　　　　　排除的文件樣式列表，以逗號(hào)分隔。
-D,　--domains=列表　　　　　　　 接受的域列表，以逗號(hào)分隔。
--exclude-domains=列表　　　 排除的域列表，以逗號(hào)分隔。
--follow-ftp　　　　　　　　 跟隨 HTML 文件中的 FTP 鏈接。
--follow-tags=列表　　　　　 要跟隨的 HTML 標(biāo)記，以逗號(hào)分隔。
-G,　--ignore-tags=列表　　　　　 要忽略的 HTML 標(biāo)記，以逗號(hào)分隔。
-H,　--span-hosts　　　　　　　　 遞歸時(shí)可進(jìn)入其它主機(jī)。
-L,　--relative　　　　　　　　　 只跟隨相對(duì)鏈接。
-I,　--include-directories=列表　 要下載的目錄列表。
-X,　--exclude-directories=列表　 要排除的目錄列表。
-np, --no-parent　　　　　　　　　不搜索上層目錄。