curl採集迴圈資料

2021-07-25 21:40:36 字數 1392 閱讀 3202

<?php 

header("content-type:text/html;charset=utf-8");

/** * @author cpath

* @time 2016/

5/8 * curl採集獲取10頁資料

*/if (!is_file('./photo'))

//$dns="mysql:host=127.0.0.1;dbname=article";

//$p=new pdo($dns,"root","root");

//$p->query("set names utf8");

$preg='#[\r\t\s\n]+[\r\t\s\n]+[\r\t\s\n]+[\r\t\s\n]+#isu';

for ($i=0; $i

<=240; $i++)

}else

}curl_close($ch);

}

include

'db.php';

#採集資料新增入庫

#前台列表以news_1.html 的偽靜態形式展示

#增加搜尋,列表,快取(redis)

#批量生成html

function

curl

($url)

$start=isset($_post['start'])?isset($_post['start']):'';

$file1=isset($_post['file1'])?isset($_post['file1']):'';

if($start=='start')[-]\d[-]\d \d[:]\d).*(.*)

.*#isu';#鳳凰汽車   [諜照]   kknd   2017-02-04 08:21

preg_match_all($preg,$output,$res);

//print_r($res);

# 資料入庫

for($i=0;$i

$res[1]);$i++)else

}}elseif($file1=='file1') else

}}?>

onclick="start()">開始採集button>

onclick="file1()">批量生成html檔案button>

onclick="list()">新聞列表button>

src="jquery-1.9.1.min.js">

script>

function

start

());

}function

file1

());

}function

list

()script>

curl登入採集

cookie file tempnam temp cookie 設定cookie存放目錄 login url 設定url位址 將post提交的所有必須字段賦值給 post fileds post fileds ckyime 31536000 step 2 pwuser mangmu126 pwpwd...

CURL使用示例之資料採集

ch curl init 初始化 curl setopt ch,curlopt httpheader,array cookie jsessionid 410d5c5a133cb3b00d308f42a106b713 傳送頭資訊,如果遠端伺服器需要session,可以用這種方式偽造 curl seto...

curl根據cookie防採集

header content type text html charset utf 8 cookie file dirname file cookie.txt cookie file tempnam tmp cookie 先獲取cookies並儲存 url ch curl init url 初始化 ...