一、linux curl用法舉例:
1. linux curl抓取網頁:
如發現亂碼,可以使用iconv轉碼
-fgb2312
iconv的用法請參閱:在linux/unix系統下用iconv命令處理文字檔案中文亂碼問題
2. linux curl使用**:
linux curl使用http**抓取頁面:
使用socks**抓取頁面:
**伺服器位址可以從爬蟲**上獲取。
3. linux curl處理cookies
接收cookies:
www.baidu.com #cookies儲存到/tmp/cookies檔案
傳送cookies:
www.baidu.com #傳送cookies文字
www.baidu.com #從檔案中讀取cookies
4. linux curl傳送資料:
linux curl get方式提交資料:
linux curl post方式提交資料:
www.baidu.com #post資料
www.baidu.com #post檔案
以表單的方式上傳檔案:
相當於設定form表單的method="post"和enctype='multipart/form-data'兩個屬性。
5. linux curl http header處理:
設定http請求頭資訊:
www.baidu.com #設定http請求頭user-agent
www.baidu.com #設定http請求頭referer
設定http響應頭處理:
www.aiezu.com #僅僅返回header
www.aiezu.com #將http header儲存到/tmp/header檔案
6. linux curl認證:
www.aiezu.com #使用者名稱密碼認證
www.baidu.com #採用證書認證
6. 其他:
www.baidu.com #以「#」號輸出進度條
www.baidu.com #儲存http響應到/tmp/aiezu
linux 使用curl小經驗教訓:
http請求位址的url要使用""括起來。當有存在多個引數使用&連線時可能會出錯
封裝好的API請求介面,CURL函式
curl請求 param url 請求url位址 param method 請求方法 get post param null postfields post資料陣列 param array headers 請求header資訊 param bool false debug 除錯是否開啟 預設不開啟f...
CURL方法封裝
說到獲取介面方法我們常見的有兩種,一種是獲取feil get contents,一種就是curl。兩種方法都可以遠端獲取資料介面,但是的話,前者在訪問資料不大的情況還好,一旦 併發量上去了,很可能導致伺服器癱瘓,甚至宕機,因為其支援的網路服務較多,而且 獲取資料往往是全部抓取。curl我們就經常用,...
curl操作封裝
class curl curl簡單封裝 get post class curl curl setopt ch,curlopt url,url curl setopt ch,curlopt returntransfer,1 curl setopt ch,curlopt header,0 curl se...