1. 學習python基礎知識並實現基本的爬蟲過程
一般獲取資料的過程都是按照傳送請求-獲得頁面反饋-解析並且儲存資料 這三個流程來實現的。這個過程其實就是模擬了乙個人工瀏覽網頁的過程。
python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，我們可以按照requests 負責連線**，返回網頁，xpath 用於解析網頁，便於抽取資料。
2.了解非結構化資料的儲存
爬蟲抓取的資料結構複雜傳統的結構化資料庫可能並不是特別適合我們使用。我們前期推薦使用mongodb 就可以。
3. 掌握一些常用的反爬蟲技巧
使用**ip池、抓包、驗證碼的ocr處理等處理方式即可以解決大部分**的反爬蟲策略。
4.了解分布式儲存
分布式這個東西，聽起來很恐怖，但其實就是利用多執行緒的原理讓多個爬蟲同時工作，需要你掌握 scrapy + mongodb + redis 這三種工具就可以了。
網路爬蟲可以做什麼？
世界上80 的爬蟲是基於python開發的，學好爬蟲技能，可為後續的大資料分析 挖掘 機器學習等提供重要的資料來源。什麼是爬蟲？網路爬蟲 又被稱為網頁蜘蛛，網路機械人，在foaf社群中間，更經常的稱為網頁追逐者 是一種按照一定的規則，自動地抓取全球資訊網資訊的程式或者指令碼。另外一些不常使用的名字還...
GIS可以做什麼
gis簡介 gis可以做什麼？進行地理資訊查詢和分析 gis搜尋資料庫並進行地理資訊查詢的能力，節約了許多公司數以百萬計的金錢。gis可以 房地產經紀人可以用gis在一定的區域內尋找滿足下列條件的所有房屋 瓦蓋的屋頂 五個房間，並可列出它們的所有特點 查詢可以通過增加準則來進一步細化 可以列出這些房...
GIS可以做什麼？
進行地理資訊查詢和分析 gis搜尋資料庫並進行地理資訊查詢的能力，節約了許多公司數以百萬計的美元。gis可以 房地產經紀人可以用gis在一定的區域內尋找滿足下列條件的所有房屋 瓦蓋的屋頂 五個房間，並可列出它們的所有特點。查詢可以通過增加準則來進一步細化 房價必須每平方英呎少於100美元。還可以列出...