筆者出處:
如發現亂碼,可以使用iconv轉碼:
2. linux curl使用**:
linux curl使用http**抓取頁面:
使用socks**抓取頁面:
**伺服器位址可以從爬蟲**上獲取。
3. linux curl處理cookies
接收cookies:
www.baidu.com #cookies儲存到/tmp/cookies檔案
傳送cookies:
www.baidu.com #傳送cookies文字
www.baidu.com #從檔案中讀取cookies
4. linux curl傳送資料:
linux curl get方式提交資料:
linux curl post方式提交資料:
www.baidu.com #post資料
www.baidu.com #post檔案
以表單的方式上傳檔案:
相當於設定form表單的method="post"和enctype='multipart/form-data'兩個屬性。
5. linux curl http header處理:
設定http請求頭資訊:
www.baidu.com #設定http請求頭user-agent
www.baidu.com #設定http請求頭referer
設定http響應頭處理:
www.aiezu.com #僅僅返回header
www.aiezu.com #將http header儲存到/tmp/header檔案
6. linux curl認證:
www.aiezu.com #使用者名稱密碼認證
www.baidu.com #採用證書認證
6. 其他:
www.baidu.com #以「#」號輸出進度條
www.baidu.com #儲存http響應到/tmp/aiezu
Linux curl命令引數詳解
curl 一 linux curl用法舉例 1.linux curl抓取網頁 如發現亂碼,可以使用iconv 轉碼 fgb2312 iconv的用法請參閱 在linux unix系統下用iconv命令處理文字檔案中文亂碼問題 2.linux curl使用 linux curl使用http 抓取頁面 ...
Linux curl命令引數詳解
一 linux curl用法舉例 1.linux curl抓取網頁 如發現亂碼,可以使用iconv轉碼 fgb2312 2.linux curl使用 linux curl使用http 抓取頁面 使用socks 抓取頁面 伺服器位址可以從爬蟲 上獲取。3.linux curl處理cookies 接收c...
Linux curl命令引數詳解
一 linux curl用法舉例 1.linux curl抓取網頁 如發現亂碼,可以使用iconv轉碼 fgb2312 2.linux curl使用 linux curl使用http 抓取頁面 使用socks 抓取頁面 伺服器位址可以從爬蟲 上獲取。3.linux curl處理cookies 接收c...