零、用php做爬蟲的優勢,可以直接整合到已有的php**中。
一、遮蔽錯誤
libxml_use_internal_errors(true);
二、建立url請求
public function curl($url,$post_data=null)
$html = curl_exec($ch);
//$html = utf8_encode($html);
curl_close($ch);
return $data;
}/*curl*/
三、解析鍵名缺少引號的json資料
public function ext_json_decode($str, $mode=true)
return json_decode($str, $mode);
}
四、用******xml 直接解析html 文件碰到特殊字元經常解析不來,domdocument 的容錯能力更強。
/*html 轉 ******xml */
public function html_to_xml($html)
五、用domdocument 運算元據 ,用******xml 查詢節點,兩個交替使用更方便,用過才會明白。
function parse_xml($xml)
}} /*parse_xml*/
superset爬過的坑
superset是資料分析與視覺化平台。該工具主要特點是可自助分析 自定義儀錶盤 分析結果視覺化 匯出 使用者 角色許可權控制,還整合了乙個sql編輯器,可以進行sql編輯查詢等,原來是用於支援druid的視覺化分析,後面發展為支援很多種關聯式資料庫及大資料計算框架,如 mysql,oracle,p...
feign的使用和爬過的坑
自學了一些springclou的相關元件,今天記錄個人在feign的自學中遇到的坑和解決方案。1.引入依賴。在pom檔案中匯入fegin,需要注意的是,如果springboot版本是2.0以後的,要使用下面的openfeign,使用feign會導致啟動類上無法找到 enablefeignclient...
二分查詢爬過的坑
二分查詢看似簡單,但是刷多了二分查詢的題,就會遇到很多意向不到的坑,真的是實踐出真知啊,現總結下二分查詢遇到的坑。一 樸素版二分查詢 在有序陣列中查詢關鍵字,找到就返回下標,不管重複不重複。樸素版二分查詢 int bitsearch int a,int n,int k else if a mid k...