今天裝qt開發包時遇到了乙個問題，確實xlib包，解決方案：
一下。
python太簡便了，版本問題讓人十分不爽，裝pyquery、ghost.py各種不順。
一篇很好的關於ghost.py的介紹
搞了很久ghost.py還是出問題了，沒法正常使用，甚至公升級了centos系統亦然不行，最終選擇了qt webkit+beautifulsoup的結構開走。
目前仍然煩惱於一定的抓取規則只能針對個別的**，希望能改進，使資料抓取能通用化。
有時間再寫一些實踐經驗
如何從亞馬遜抓取產品資料？
為什麼我們需要抓取亞馬遜的資料？也許這是您可能會問的第乙個問題。亞馬遜是美國最大的電子商務公司，擁有世界上種類最多的產品。將產品資料抓取下來有很多有價值的用途。以下是為您列舉的一些企業利用產品資料的好處 與競爭對手的產品做比較，並監控競爭對手的產品動態。獲取某個類別的最暢銷產品列表，以準確了解哪些產...
從雪球抓取金融資產資料
從雪球抓取財經資料或者美股日曆的時候會遇到乙個問題，就是在url上會有乙個access token access token 64m8ck58bvnkvrd9wbomcw 1401326057418 這個token會自動過期，看雪球的code中預設是設定了25天過期，過期之後在用http reque...
從網頁抓取資料的一般方法
首先要了解對方網頁的執行機制，這可以用httpwacth或者httplook來看一下http傳送和接收的資料。這兩個工具應該說是比較簡單易懂的。這裡就不再介紹了。主要關注的內容是header和post的內容。一般會包括cookie，referer頁面和其他一些亂其八糟可能看不懂的變數，還有就是正常互...