4、使用wget -c斷點續傳
你可以在以下幾種情況下使用spider引數:
8、使用wget –tries增加重試次數
wget –tries=40 url
wget -i filelist.txt
10、使用wget –mirror映象**
wget –reject=gif url
wget -o download.log url
wget -q5m -i filelist.txt
可以在以下情況使用該功能
wget -r -a.pdf url
wget
ftp
-url
wget –
ftp
-user=username –
ftp
-password=password url
wget是在linux下開發的開放源**的軟體,作者是hrvoje niksic,後來被移植到包括windows在內的各個平台上。它有以下功能和特點:
wget雖然功能強大,但是使用起來還是比較簡單的,基本的語法是:wget [引數列表] url。下面就結合具體的例子來說明一下wget的用法。
要是您想製作映象站點,那麼可以使用-m引數,例如:wget -m
這時wget會自動判斷合適的引數來製作映象站點。此時,wget會登入到伺服器上,讀入robots.txt並按robots.txt的規定來執行。
使用斷點續傳要求伺服器支援斷點續傳。-t引數表示重試次數,例如需要重試100次,那麼就寫-t 100,如果設成-t 0,那麼表示無窮次重試,直到連線成功。-t引數表示超時等待時間,例如-t 120,表示等待120秒連線不上就算超時。
5、密碼和認證。
附錄:
-v,–version 顯示軟體版本號然後退出;
-h,–help顯示軟體幫助資訊;
-e,–execute=command 執行乙個 「.wgetrc」命令
-nd,–no-directories 不建立目錄
-x,–force-directories 強制建立目錄
–http-user=user設定http使用者
–http-passwd=pass設定http密碼
–proxy-user=user設定**使用者
–proxy-passwd=pass設定**密碼
中文文件名在平常的情況下會被編碼, 但是在 –cut-dirs 時又是正常的,
wget -r -np -nh –
cut
-
dirs
=3
ftp
:
//host/test/
測試.txt
wget -r -np -nh -nd
ftp
:
//host/test/
%b4%fa%b8%d5.txt
wget 「
ftp
:
//host/test/
*」
%b4%fa%b8%d5.txt
由 於不知名的原因,可能是為了避開特殊檔名, wget 會自動將抓取檔名的部分用 encode_string 處理過, 所以該 patch 就把被 encode_string 處理成 「%3a」 這種東西, 用 decode_string 還原成 「:」,並套用在目錄與檔名稱的部分,decode_string 是 wget 內建的函式。
Linux下wget命令詳解
你可以在以下幾種情況下使用spider引數 wget tries 40 url wget i filelist.txt wget reject gif url wget o download.log url wget ftp url wget ftp user username ftp passwo...
wget命令詳解
要是您想製作映象站點,那麼可以使用 m引數,例如 wget m 這時wget會自動判斷合適的引數來製作映象站點。此時,wget會登入到伺服器上,讀入robots.txt並按robots.txt的規定來執行。附錄 命令格式 wget 引數列表 目標軟體 網頁的 v,version 顯示軟體版本號然後退...
wget命令詳解
你可以在以下幾種情況下使用spider引數 wget tries 40 url wget i filelist.txt wget reject gif url wget o download.log url wget ftp url wget ftp user username ftp passwo...