Linux命令之wget 抓取整站

wget -r -p -np -k

-r  遞迴

-p,  --page-requisites（頁面必需元素）
-np, --no-parent（不追溯至父級）
找了幾個wget技巧，發一下。
$ wget -r -np -nd packages/
的作用是不遍歷父目錄，-nd 表示不在本機重新建立目錄結構。
$ wget -r -np -nd --accept=iso 
目錄中所有擴充套件名為 iso 的檔案。你也可以指定多個副檔名，只需用逗號分隔即可。
$ wget -i filename.txt
$ wget -c really-big-file.iso
這裡所指定的 -c 選項的作用為斷點續傳。
$ wget -m -k (-h) 
那麼可以使用 -h 選項

也可以使用其他抓取工具如 webzip 、httrack website copier、 teleport pro

Linux命令之wget 抓取整站

wget r p np k r 遞迴 p,page requisites 頁面必需元素 np,no parent 不追溯至父級 找了幾個wget技巧，發一下。wget r np nd packages 的作用是不遍歷父目錄，nd 表示不在本機重新建立目錄結構。wget r np nd accept ...

linux命令專欄（二）之wget

常用用法 wget 選項 url p 儲存檔案之前先建立指定名稱的目錄。t 嘗試連線次數，當wget無法與伺服器建立連線時，嘗試連線多少次。例如 使用該命令爬取需要的靜態網頁 wget r p np k nc c 1 首先檢查有沒有安裝wget yum list installed grep i w...

Linux 命令篇 之 wget（1）

很簡單的一條命令，就wget加位址 挺漂亮的 在 etc wgettrc檔案和甲目錄下的.wgettrc檔案，看看裡面的配置檔案，搞清楚是搞什麼的先 也可以是wget x a,b robots協議 也稱為爬蟲協議 機械人協議等 的全稱是 網路爬蟲排除標準 robots exclusion proto...