分享到:17
要提取google搜尋的部分資料,發現google對於軟體抓取它的資料遮蔽的厲害,以前偽造下 user-agent就可以抓資料,但是現在卻不行了。利用抓包資料發現,google判斷了cookies,當你沒有cookies的時候,直接返回30
要提取google搜尋的部分資料,發現google對於軟體抓取它的資料遮蔽的厲害,以前偽造下 user-agent 就可以抓資料,但是現在卻不行了。利用抓包資料發現,google 判斷了 cookies,當你沒有cookies的時候,直接返回 302 跳轉,而且是連續幾十個302跳轉,根本抓不了資料。
一、定義cookie儲存路徑
必須使用絕對路徑
view source
print?
1.
$cookie_jar
= dirname(
__file__
).
"/pic.cookie"
;
二、獲取cookie
將cookie存入檔案
view source
print?
1.
$url
=
""
;
2.
$ch
= curl_init();
3.
curl_setopt(
$ch
, curlopt_url,
$url
);
4.
curl_setopt(
$ch
, curlopt_header, 0);
5.
curl_setopt(
$ch
, curlopt_returntransfer, true);
6.
curl_setopt(
$ch
, curlopt_cookiejar,
$cookie_jar
);
7.
$content
= curl_exec(
$ch
);
8.
curl_close(
$ch
);
三、模擬瀏覽器獲取驗證碼
該伺服器驗證碼有漏洞,可以自己指定
取出cookie,一起提交給伺服器,讓伺服器以為是瀏覽器開啟登陸頁面
view source
print?
1.
$ch
= curl_init();
2.
curl_setopt(
$ch
, curlopt_url,
'getcheckpic.action?rand=6836.185874812305'
);
3.
curl_setopt(
$ch
, curlopt_cookiefile,
$cookie_jar
);
4.
curl_setopt(
$ch
, curlopt_header, 0);
5.
curl_setopt(
$ch
, curlopt_returntransfer, 1);
6.
$ret
= curl_exec(
$ch
);
7.
curl_close(
$ch
);
四、post提交
view source
print?
01.
$post
=
"name=2&usertype=1&passwd=asdf&logintype=1&rand=6836&imagefield.x=25&imagefield.y=7"
;
02.
$ch
= curl_init();
03.
curl_setopt(
$ch
, curlopt_url,
"loginstudent.action"
);
04.
curl_setopt(
$ch
, curlopt_header, false);
05.
curl_setopt(
$ch
, curlopt_returntransfer,1);
06.
curl_setopt(
$ch
, curlopt_postfields,
$post
);
07.
curl_setopt(
$ch
, curlopt_cookiefile,
$cookie_jar
);
08.
$result
=curl_exec(
$ch
);
09.
curl_close(
$ch
);
五、到指定頁面獲取資料
view source
print?
01.
$ch
= curl_init();
02.
curl_setopt(
$ch
, curlopt_url,
"accountcarduser.action"
);
03.
curl_setopt(
$ch
, curlopt_header, false);
04.
curl_setopt(
$ch
, curlopt_header, 0);
05.
curl_setopt(
$ch
, curlopt_returntransfer,0);
06.
curl_setopt(
$ch
, curlopt_cookiefile,
$cookie_jar
);
07.
$html
=curl_exec(
$ch
);
08.
// var_dump($html);
09.
curl_close(
$ch
);
PHP獲取Cookie模擬登入
一 定義cookie儲存路徑 必須使用絕對路徑 cookie jar dirname file pic.cookie 二 獲取cookie 將cookie存入檔案 url ch curl init curl setopt ch,curlopt url,url curl setopt ch,curlo...
PHP獲取Cookie模擬登入
關鍵字 curlcookie curlopt cookiejar curlopt cookiefile 模擬登入 php 一 定義cookie儲存路徑 必須使用絕對路徑 cookie jar dirname file pic.cookie 二 獲取cookie 將cookie存入檔案 url ch ...
PHP獲取Cookie模擬登入CURL
要提取google搜尋的部分資料,發現google對於軟體抓取它的資料遮蔽的厲害,以前偽造下 user agent 就可以抓資料,但是現在卻不行了。利用抓包資料發現,google 判斷了 cookies,當你沒有cookies的時候,直接 返回 302 跳轉,而且是連續幾十個302跳轉,根本抓不了資...