轉載:wget的使用方法

←手機掃碼閱讀火星人 @ 2014-03-23 , reply:0

wget [參數列表] URL
首先來介紹一下wget的主要參數：
· -b：讓wget在後台運行，記錄文件寫在當前目錄下"wget-log"文件中；
· -t [nuber of times]：嘗試次數，當wget無法與伺服器建立連接時，嘗試連接多少次
。比如"-t
120"表示嘗試120次。當這一項為"0"的時候，指定嘗試無窮多次直到連接成功為止，這個設置非常有用，當對方伺服器突然關機或者網路突然中斷的時候，可以在恢復正常後繼續下載沒有傳完的文件；
·
-c：斷點續傳，這也是個非常有用的設置，特別當下載比較大的文件的時候，如果中
途意外中斷，那麼連接恢復的時候會從上次沒傳完的地方接著傳，而不是又從頭開始，使
用這一項需要遠程伺服器也支持斷點續傳，一般來講，基於UNIX/Linux的Web/FTP伺服器
都支持斷點續傳；
· -T [number of seconds]：超時時間，指定多長時間遠程伺服器沒有響應就中斷連接
，開始下一次嘗試。比如"-T 120"表示如果120秒以後遠程伺服器沒有發過來數據，就重新嘗試連接。如果網路速度比較快，這個時間可以設置的短些，相反，可以設置的長一些，一般最多不超過900，通常也不少於60，一般設置在120左右比較合適；
· -w [number of seconds]：在兩次嘗試之間等待多少秒，比如"-w 100"表示兩次嘗試之間等待100秒；
· -Y on/off：通過／不通過代理伺服器進行連接；
· -Q [byetes]：限制下載文件的總大小最多不能超過多少，比如"-Q2k"表示不能超過2K 位元組，"-Q3m"表示最多不能超過3M位元組，如果數字後面什麼都不加，就表示是以位元組為單位，比如"-Q200"表示最多不能超過200位元組；
· -nd：不下載目錄結構，把從伺服器所有指定目錄下載的文件都堆到當前目錄里；
· -x：與"-nd"設置剛好相反，創建完整的目錄結構，例如"wget -nd http://www.gnu.org"將創建在當前目錄下創建"www.gnu.org"子目錄，然後按照伺服器實際的目錄結構一級一級建下去，直到所有的文件都傳完為止；
· -nH：不創建以目標主機域名為目錄名的目錄，將目標主機的目錄結構直接下到當前目錄下；
· --http-user=username
· --http-passwd=password：如果Web伺服器需要指定用戶名和口令，用這兩項來設定；
· --proxy-user=username
· --proxy-passwd=password：如果代理伺服器需要輸入用戶名和口令，使用這兩個選項；
· -r：在本機建立伺服器端目錄結構；
· -l [depth]：下載遠程伺服器目錄結構的深度，例如"-l 5"下載目錄深度小於或者等於5以內的目錄結構或者文件；
· -m：做站點鏡像時的選項，如果你想做一個站點的鏡像，使用這個選項，它將自動設定其他合適的選項以便於站點鏡像；
· -np：只下載目標站點指定目錄及其子目錄的內容。這也是一個非常有用的選項，我們假設某個人的個人主頁裡面有一個指向這個站點其他人個人主頁的連接，而我們只想下載這個人的個人主頁，如果不設置這個選項，甚至--有可能把整個站點給抓下來，這顯然是
我們通常不希望的；
ü 如何設定wget所使用的代理伺服器
wget
可以使用用戶設置文件".wgetrc"來讀取很多設置，我們這裡主要利用這個文件來是
設置代理伺服器。使用者用什麼用戶登錄，那麼什麼用戶主目錄下的".wgetrc"文件就起
作用。例如，"root"用戶如果想使用".wgetrc"來設置代理伺服器，"/root/.wgert"就起
作用，下面給出一個".wge trc"文件的內容，讀者可以參照這個例子來編寫自己的"wgetrc"文件：
http_proxy = 111.111.111.111:8080
ftp_proxy = 111.111.111.111:8080
這兩行的含義是，代理伺服器IP地址為：111.111.111.111，埠號為：80。第一行指定
HTTP協議所使用的代理伺服器，第二行指定FTP協議所使用的代理伺服器。

　　用法: wget [選項]... [URL]...
　　命令的引數使用長項目與短項目相同.
　　啟動:
　　-V, --version顯示Wget的版本並且離開.
　　-h, --help顯示這個說明檔.
　　-b, -background在啟動之後跳到背景去.
　　-e, -execute=COMMAND執行一個`.wgetrc'裡面的COMMAND指令.
　　紀錄檔與輸入的檔案:
　　-o, --output-file=FILE紀錄訊息到FILE去.
　　-a, -append-output=FILE增加訊息到FILE去.
　　-d, --debug顯示除錯的輸出.
　　-q, --quiet安靜模式(不輸入任何訊息).
　　-v, --verbose冗長模式(這是內定值).
　　-nv, --non-verbose關閉verboseness,但不是安靜模式.
　　-i, --input-file=FILE從FILE讀取URL .
　　-F, --force-html把輸入的檔案當作HTML.
　　下載:
　　-t, --tries=NUMBER設定重複嘗試NUMBER次(0是無限制).
　　-O --output-document=FILE把文件寫到FILE里.
　　-nc, --no-clobber不破壞已經存在的檔案.
　　-c, --continue重新取得一個已經存在的檔案.
　　--dot-style=STYLE設定取回狀況的顯示風格.
　　-N, --timestamping不取回比本地舊的檔案.
　　-S, --server-response顯示伺服器回應狀況.
　　--spider不下載任何東西.
　　-T, --timeout=SECONDS設定讀取時超過的時間為SECONDS秒.
　　-w, --wait=SECONDS在取回檔案時等待SECONDS秒.
　　-Y, --proxy=on/off開啟或關閉Proxy.
　　-Q, --quota=NUMBER設定取回檔案的定額限制為NUMBER個.
　　目錄:
　　-nd --no-directories不建立目錄.
　　-x, --force-directories強制進行目錄建立的工作.
　　-nH, --no-host-directories不建立主機的目錄.
　　-P, --directory-prefix=PREFIX把檔案存到PREFIX/...
　　--cut-dirs=NUMBER忽略NUMBER個遠端的目錄元件.
　　HTTP選項:
　　--http-user=USER設http使用者為USER.
　　--http0passwd=PASS設http使用者的密碼為PASS.
　　-C, --cache=on/off提供/關閉快取伺服器資料(正常情況為提供).
　　--ignore-length忽略`Content-Length'標頭欄位.
　　--proxy-user=USER設USER為Proxy使用者名稱.
　　--proxy-passwd=PASS設PASS為Proxy密碼.
　　-s, --save-headers儲存HTTP標頭成為檔案.
　　-U, --user-agent=AGENT使用AGENT取代Wget/VERSION作為識別代號.
　　FTP選項:
　　--retr-symlinks取回FTP的象徵連結.
　　-g, --glob=on/off turn file name globbing on ot off.
　　--passive-ftp使用"passive"傳輸模式.
　　使用遞迴方式的取回:
　　-r, --recursive像是吸入web的取回--請小心使用!.
　　-l, --level=NUMBER遞迴層次的最大值(0不限制).
　　--delete-after刪除下載完畢的檔案.
　　-k, --convert-links改變沒有關連的連結成為有關連.
　　-m, --mirror開啟適合用來映射的選項.
　　-nr, --dont-remove-listing不要移除`.listing'檔.
　　遞迴式作業的允許與拒絕選項:
　　-A, --accept=LIST允許的擴充項目的列表.
　　-R, --reject=LIST拒絕的擴充項目的列表.
　　-D, --domains=LIST允許的網域列表.
　　--exclude-domains=LIST拒絕的網域列表(使用逗號來分隔).
　　-L, --relative只跟隨關聯連結前進.
　　--follow-ftp跟隨HTML文件裡面的FTP連結.
　　-H, --span-hosts當開始遞迴時便到外面的主機.
　　-I, --include-directories=LIST允許的目錄列表.
　　-X, --exclude-directories=LIST排除的目錄列表.
　　-nh, --no-host-lookup不透過DNS查尋主機.
　　-np, --no-parent不追朔到起源目錄.
　　範例一：mirror一個網站
　　wget -r www.redhat.com
　　範例二：mirror一個網站下的某個目錄：
　　wget -r
www.redhat.com/mirrors/LDP

export http_proxy="166.111.53A.167:3128"
export ftp_proxy="166.111.53A.167:3128"
2、對於wget可以單獨建立.wgetrc
http-proxy = 166.111.53.167:3128
ftp-proxy = 166.111.53.167:3128
3、用wget下載整個站點
#wget -k -m -np -d --proxy-user=usrname --proxy-passwd=passwd http://www.hq.nasa.gov/office/pao/History/SP-468/contents.htm
-k, --convert-links 將絕對鏈接轉換為相對鏈接。
-m 就等價於遞歸下載+除非遠程文件較新，否則不再取回+最大遞歸深度無限+不刪除「.listing」文件。
-np, --no-parent 不搜索上層目錄。
注意其中-d只是輸出下載信息，換成-q就變成「安靜」下載了。
另外還有兩個選項可能會有用到。
-b：讓wget在後台運行
-c：斷點續傳

Tags: linux system 系統

[火星人 ] 轉載:wget的使用方法已經有478次圍觀

本文地址：http://coctec.com/docs/linux/show-post-108490.html

轉載:wget的使用方法

熱門文章

最新文章