這裡先來介紹一下爬蟲瀏覽器，普通爬蟲獲取用抓包的方式獲取要獲取資訊的api，ajax，json，js等**，通過請求**來獲取相對應資料。
然而，總有一些沒辦法或者分析比較困難的，這個時候就可以使用模擬瀏覽器大發神威了。
再來介紹一下爬蟲瀏覽器的種類有 chrome，firefox，ie，phantomjs 等。
安裝流程：
將下好的驅動外掛程式放入資料夾，並將路徑配置進path環境變數。
開啟cmd命令列，輸入 pip install selenium。
程式呼叫。
from selenium import webdriver
# 火狐瀏覽器
browser = webdriver.firefox(
)# 開啟網頁
browser.get(
'')# 關閉瀏覽器
browser.close(
)
python爬蟲 非同步爬蟲
壞處 無法無限制的開啟多執行緒或者多程序。執行緒池 程序池 適當使用 使用非同步實現高效能的資料爬取操作 人多力量大 環境安裝 pip install aiohttp 使用該模組中的clientsession 2表示同時存在兩個協程 pool pool 2 urls for i in range 1...
Python爬蟲 初識爬蟲
模擬瀏覽器開啟網頁，獲取網頁中我們想要的那部分資料 瀏覽器開啟網頁的過程 當你在瀏覽器中輸入位址後，經過dns伺服器找到伺服器主機，向伺服器傳送乙個請求，伺服器經過解析後傳送給使用者瀏覽器結果，包括html,js,css等檔案內容，瀏覽器解析出來最後呈現給使用者在瀏覽器上看到的結果 瀏覽器傳送訊息給...
python爬蟲基本流程 Python爬蟲流程
python爬蟲流程 主要分為三個部分 1 獲取網頁 2 解析網頁 獲取資料 儲存資料 三個流程的技術實現 1.獲取網頁 獲取網頁的技術基礎 urllib requests selenium 獲取網頁的高階技術 多執行緒抓取 登入抓取 突破ip限制和伺服器抓取 2.解析網頁 解析網頁的技術基礎 re...