最近想爬一下各大招聘**來分析一下，首先我們從實習僧開始。
首先我們開啟首頁分析，我需要的是整站的資料，所以就需要將所有的分類都爬下來，如果你只是想分析某乙個行業的資料，實習僧的介面也非常簡單。
,這裡k就是搜尋關鍵字了，p是頁碼。
我們需要獲取的是包括it網際網路到**設計的所有分類下的鏈結。都在網頁原始碼裡面，提取也很簡單，就不嘮叨了。
思路已經有了，就可以開始擼**了。
scrapy的使用請參考我以前的部落格：
如果想學習scrapy的可以試一下爬實習僧，不用**也可以獲取到很多資料。參考scrapy的教程一步一步來，相信你會有一些的收穫的。
執行了乙個多小時，爬蟲正常停止，一共獲取到了8萬多條資料。所以實習僧首頁顯示的95萬資料呢。難道是我沒有爬全，我對比了一下類別和數量發現是全的。看了一下崗位連2017的都顯示了，說明不是只顯示最近的。那麼只有兩種情況了：實習僧首頁的分類並沒有顯示全或者分類下的職位並沒有全部顯示，也有可能是首頁的那個資料僅供參考，並沒有實際意義。
資料的分類數量：
**：(**我作了一些小改動，比如將url設為_id，所以會和資料有點出入)
原文部落格：
現在這個是小號，給爬蟲用的
scrapy 全站爬取
如何查詢scrapy有哪些模版？scrapy genspider list 如何建立crawl模版？scrapy genspider t crawl 網域名稱 scrapy genspider t crawl i.cnblogs.com 如何把搜尋目錄加入到環境變數？setting import o...
scrapy框架全站資料爬取
每個 都有很多頁碼，將 中某板塊下的全部頁碼對應的頁面資料進行爬取 實現方式有兩種 1 將所有頁面的url新增到start urls列表 不推薦 2 自行手動進行請求傳送 推薦 yield scrapy.request url,callback callback專門用做於資料解析 下面我們介紹第二種...
scrapy 爬取流程
什麼時候到pipeline，什麼 時候到spider這個就不說了，這個是框架跳轉到的流程 關鍵是訪問之前要登入怎麼辦，資料還要注入呢 這是個列表，裡面就是爬取的鏈結了 我們前面爬取就只是寫了乙個，但是其實可以寫多個 鏈結又是怎麼訪問的呢 這東西你就可以手動提取鏈結返回了 這東西你就得好好注意了 從入...