3、針對反爬制定處理方法
4、編寫**，除錯bug，獲取資料
一、建議
二、爬取步驟及思路
1、確定要爬取的目標資料
（2）選擇獲取頁面詳情的最優路徑： 乙個頁面可能有多個路徑可以到達，在保證能夠拿到全量資料的情況下，優先選擇請求次數少的路徑。比如如下中，可以按三種性質查詢獲得資料，通過分析，按地區總省查詢就能獲得全量資料。
2、借助工具
（1）谷歌開發者工具
（2）mitimproxy抓包工具
（3）postman驗證前面自己分析的結果
3、針對反爬制定處理方法
（1）對於user-agent
（2）referer檢測
（3）對於cookie反爬
（4）對於驗證碼反爬
（5）ip限制頻次
（6）反爬彙總
4、編寫**，除錯bug，獲取資料
python爬蟲基本流程 Python爬蟲流程
python爬蟲流程 主要分為三個部分 1 獲取網頁 2 解析網頁 獲取資料 儲存資料 三個流程的技術實現 1.獲取網頁 獲取網頁的技術基礎 urllib requests selenium 獲取網頁的高階技術 多執行緒抓取 登入抓取 突破ip限制和伺服器抓取 2.解析網頁 解析網頁的技術基礎 re...
python爬蟲 （2）爬蟲基本流程
網路爬蟲 又被稱為網頁蜘蛛，網路機械人，在foaf社群中間，更經常的稱為網頁追逐者 是一種按照一定的規則，自動地抓取全球資訊網資訊的程式或者指令碼。另外一些不常使用的名字還有螞蟻 自動索引 模擬程式或者蠕蟲。其實通俗的講就是通過程式去獲取web頁面上自己想要的資料，也就是自動抓取資料 模擬瀏覽器開啟...
Python爬蟲基本流程
爬蟲定義 爬蟲基本流程 發起請求 通過url向伺服器傳送requests請求，請求可以包含額外的header資訊。2.獲取響應內容 解析內容 如果是html 則可以使用網頁解析器進行解析 如果是json資料則可以轉換成json物件進行解析 如果是二進位制資料則可以儲存到檔案進行進一步的處理。儲存資料...