很簡單的一條命令，就wget加位址
挺漂亮的
在/etc/wgettrc檔案和甲目錄下的.wgettrc檔案，看看裡面的配置檔案，搞清楚是搞什麼的先
也可以是wget -x a,b
robots協議（也稱為爬蟲協議、機械人協議等）的全稱是「網路爬蟲排除標準」（robots exclusion protocol），**通過robots協議告訴搜尋引擎哪些頁面可以抓取，哪些頁面不能抓取。robots協議的本質是**和搜尋引擎爬蟲的溝通方式，用來指導搜尋引擎更好地抓取**內容，而不是作為搜尋引擎之間互相限制和不正當競爭的工具。
當我們遇上了robots。txt封禁的時候我們是用wget –r –execute robots=off www.baidu.com
Linux命令之wget 抓取整站
wget r p np k r 遞迴 p,page requisites 頁面必需元素 np,no parent 不追溯至父級 找了幾個wget技巧，發一下。wget r np nd packages 的作用是不遍歷父目錄，nd 表示不在本機重新建立目錄結構。wget r np nd accept ...
Linux命令之wget 抓取整站
wget r p np k r 遞迴 p,page requisites 頁面必需元素 np,no parent 不追溯至父級 找了幾個wget技巧，發一下。wget r np nd packages 的作用是不遍歷父目錄，nd 表示不在本機重新建立目錄結構。wget r np nd accept ...
linux命令專欄（二）之wget
常用用法 wget 選項 url p 儲存檔案之前先建立指定名稱的目錄。t 嘗試連線次數，當wget無法與伺服器建立連線時，嘗試連線多少次。例如 使用該命令爬取需要的靜態網頁 wget r p np k nc c 1 首先檢查有沒有安裝wget yum list installed grep i w...