leader需要我從海量的url中選取url最多的1000個站點，每個站點再隨機抽取100個url，分析url的質量，這裡的質量，就是指是否死鏈，是否全部廣告之類的
是否死鏈只要使用瀏覽器開啟看看就ok了 然而 1000乘以100 ，乙個乙個去做的話，顯然太傻，於是我使用了curl寫個程式去獲取http的頭部資訊，統計返回來的的狀態碼，程式再跑，可是異常的慢，現在終於明白為什麼爬蟲不可能使用curl去實現，效率是在太慢了，我現在打算修改一下curl的超時設定，但是還不清楚如何去做
還有，如何設定超時？如果不考慮curl的話？
至於可連線的url，分析廣告之類的，我目前好像只有人工分析的辦法了，想不到什麼比較智慧型的辦法。
關於PHP擴充套件CURL
url 填寫url data array 請求的引數 curl curl init curl setopt curl,curlopt url,url 填寫url curl setopt curl,curlopt post,1 選擇請求方式為post curl setopt curl,curlopt ...
關於curl的用法
curl是基於url語法在命令列方式下工作的檔案傳輸工具，它支援ftp，ftps，http，https，gopher，telnet，dict，file及ldap等協議 curl還支援ipv6，socks5 伺服器，通過http 伺服器上傳檔案到ftp伺服器等，功能十分強大。說明引數 例項 a 設定u...
關於curl上傳檔案
在localhost根目錄建立1.php如下 localhost 8888是fiddler的 設定此選項用於讓fiddler抓獲post的請求 curl setopt ch,curlopt proxy,localhost 8888 下面這一句必須注釋，不然fiddler抓不到post的http請求 ...