2019獨角獸企業重金招聘python工程師標準》
它的主要特點包括:
恰當的轉換頁面中的鏈結
生成可在本地瀏覽的頁面映象
支援**伺服器
2023年,隨著網際網路的爆發,wget出現了。並廣泛的被unix和主要的linux發行版使用者所使用。由於使用移植性非常良好的c語言,所以wget可以輕鬆的在任何類似unix的系統以及其他unix變種作業系統上編譯使用,如mac os x,microsoft windows,和openvms。
在其之上的圖形介面應用程式有:gnome下面的gwget。windows系統下面的wgetgui
wget是在linux下開發的開放源**的軟體,作者是hrvoje niksic,後來被移植到包括windows在內的各個平台上。它有以下功能和特點:
(1)支援斷點下傳功能;這一點,也是網路螞蟻和flashget當年最大的賣點,現在,wget也可以使用此功能,那些網路不是太好的使用者可以放心了;
(4)設定方便簡單;可能,習慣圖形介面的使用者已經不是太習慣命令列了,但是,命令列在設定上其實有更多的優點,最少,滑鼠可以少點很多次,也不要擔心是否錯點滑鼠;
(5)程式小,完全免費;程式小可以考慮不計,因為現在的硬碟實在太大了;完全免費就不得不考慮了,即使網路上有很多所謂的免費軟體,但是,這些軟體的廣告卻不是我們喜歡的;
wget雖然功能強大,但是使用起來還是比較簡單的,基本的語法是:wget [引數列表] url。下面就結合具體的例子來說明一下wget的用法。
wget
wget -r
要是您想製作映象站點,那麼可以使用-m引數,例如:
wget -m
這時wget會自動判斷合適的引數來製作映象站點。此時,wget會登入到伺服器上,讀入robots.txt並按robots.txt的規定來執行。
2、斷點續傳。
wget -c
使用斷點續傳要求伺服器支援斷點續傳。-t引數表示重試次數,例如需要重試100次,那麼就寫-t 100,如果設成-t 0,那麼表示無窮次重試,直到連線成功。-t引數表示超時等待時間,例如-t 120,表示等待120秒連線不上就算超時。
wget -i download.txt
wget -m –reject=gif
5、密碼和認證。
–http-user=user設定http使用者
–http-passwd=pass設定http密碼
分別表示http的**伺服器和ftp的**伺服器。如果**伺服器需要密碼則使用:
–proxy-user=user設定**使用者
–proxy-passwd=pass設定**密碼
這兩個引數。
使用引數–proxy=on/off 使用或者關閉**。
wget還有很多有用的功能,需要使用者去挖掘。
附錄:命令格式:
wget [引數列表] [目標軟體、網頁的**]
-v,–version 顯示軟體版本號然後退出;
-h,–help顯示軟體幫助資訊;
-e,–execute=command 執行乙個 「.wgetrc」命令
-o,–output-file=file 將軟體輸出資訊儲存到檔案;
-d,–debug顯示輸出資訊;
-q,–quiet 不顯示輸出資訊;
-i,–input-file=file 從檔案中取得url;
-nc, –no-clobber 不要覆蓋已經存在的檔案
-t,–timeout=seconds 設定超時時間
-y,–proxy=on/off 關閉**
-nd,–no-directories 不建立目錄
-x,–force-directories 強制建立目錄
–http-user=user設定http使用者
–http-passwd=pass設定http密碼
–proxy-user=user設定**使用者
–proxy-passwd=pass設定**密碼
-a,–accept=list 可以接受的檔案型別
-r,–reject=list拒絕接受的檔案型別
-d,–domains=list可以接受的網域名稱
–exclude-domains=list拒絕的網域名稱
-i,–include-directories=list允許的目錄
-x,–exclude-directories=list 拒絕的目錄
中文文件名在平常的情況下會被編碼, 但是在 –cut-dirs 時又是正常的,
wget -r -np -nh –cut-dirs=3 ftp://host/test/
測試.txt
wget -r -np -nh -nd ftp://host/test/
%b4%fa%b8%d5.txt
wget 「ftp://host/test/*」
%b4%fa%b8%d5.txt
由 於不知名的原因,可能是為了避開特殊檔名, wget 會自動將抓取檔名的部分用 encode_string 處理過, 所以該 patch 就把被 encode_string 處理成 「%3a」 這種東西, 用 decode_string 還原成 「:」,並套用在目錄與檔名稱的部分,decode_string 是 wget 內建的函式。
wget 命令用法詳解
要是您想製作映象站點,那麼可以使用 m引數,例如 wget m 這時wget會自動判斷合適的引數來製作映象站點。此時,wget會登入到伺服器上,讀入robots.txt並按robots.txt的規定來執行。命令格式 wget 引數列表 目標軟體 網頁的 v,version 顯示軟體版本號然後退出 h...
wget 命令用法詳解
要是您想製作映象站點,那麼可以使用 m引數,例如 wget m 這時wget會自動判斷合適的引數來製作映象站點。此時,wget會登入到伺服器上,讀入robots.txt並按robots.txt的規定來執行。附錄 命令格式 wget 引數列表 目標軟體 網頁的 v,version 顯示軟體版本號然後退...
wget 命令用法詳解
要是您想製作映象站點,那麼可以使用 m引數,例如 wget m 這時wget會自動判斷合適的引數來製作映象站點。此時,wget會登入到伺服器上,讀入robots.txt並按robots.txt的規定來執行。附錄 命令格式 wget 引數列表 目標軟體 網頁的 v,version 顯示軟體版本號然後退...