一、linux curl用法舉例:
1. linux curl抓取網頁:
3.linux curl 模擬請求
4.linux curl處理cookies
curl-c/tmp/cookies #cookies儲存到/tmp/cookies檔案
傳送cookies:
curl-b"key1=val1;key2=val2;" #傳送cookies文字
curl-b/tmp/cookies #從檔案中讀取cookies
5.linux curl get方式提交資料:
curl-g-d"name=value&name2=value2"
6.以表單的方式上傳檔案:
curl-ffile=@/tmp/me.txt
7.設定http請求頭資訊:
curl-a"mozilla/5.0 firefox/21.0" #設定http請求頭user-agent
curl-e"" #設定http請求頭referer
curl-h"connection:keep-alive \n user-agent: mozilla/5.0"
8.設定http響應頭處理:
curl-i #僅僅返回header
curl-d/tmp/header #將http header儲存到/tmp/header檔案
9.curl認證:
curl-uaiezu:password #使用者名稱密碼認證
curl-emycert.pem #採用證書認證
10.進度條
curl-# #以「#」號輸出進度條
11.其他方式
curl -i www.taobao.com # 只顯示頭
curl -v www.taobao.com # 顯示通訊過程
curl --trace output.text www.taobao.com # 顯示二進位制細節
curl --trace-ascii output.text www.taobao.com # 顯示ascii細節
curl -l www.taobao.com # 存在跳轉時可以用l引數
curl -i www.sina.com # 顯示頭資訊 + 內容
curl --referer
# referer
curl —user-agent 「useragent」 www.taobao.com
curl -c cookie_output # 儲存cookie
curl -b cookies_input # 使用cookie file 發請求
-x 這個引數可以配置http的方法
curl -x post 127.0.0.1:7001/api/material/update
curl -x post --data "name=kk&name2=gg" 127.0.0.1:7001/api/material/create # 帶引數的post提交
Linux curl命令引數詳解
curl 一 linux curl用法舉例 1.linux curl抓取網頁 如發現亂碼,可以使用iconv 轉碼 fgb2312 iconv的用法請參閱 在linux unix系統下用iconv命令處理文字檔案中文亂碼問題 2.linux curl使用 linux curl使用http 抓取頁面 ...
Linux curl命令引數詳解
一 linux curl用法舉例 1.linux curl抓取網頁 如發現亂碼,可以使用iconv轉碼 fgb2312 2.linux curl使用 linux curl使用http 抓取頁面 使用socks 抓取頁面 伺服器位址可以從爬蟲 上獲取。3.linux curl處理cookies 接收c...
Linux curl命令引數詳解
一 linux curl用法舉例 1.linux curl抓取網頁 如發現亂碼,可以使用iconv轉碼 fgb2312 2.linux curl使用 linux curl使用http 抓取頁面 使用socks 抓取頁面 伺服器位址可以從爬蟲 上獲取。3.linux curl處理cookies 接收c...