1:urllib urllib.request
這兩個庫是python自帶的庫,不需要重新安裝,在python中輸入如下**:
import urllib
import urllib.request
response=urllib.request.urlopen("")
print(response) 1
2 3
4返回結果為httpresponse的物件:
2:正規表示式模組
import re 1
該庫為python自帶的庫,直接執行不報錯,證明該庫正確安裝。
3:request庫的安裝
安裝命令:pip install requests
驗證該庫是否安裝成功,執行如下**:
import requests
response=requests.get("")
print(response) 1
2 3
4:selenium庫的安裝
由於如果需要使用selenium的話,需要為本機配置對應瀏覽器的驅動,下面以chomedriver為例,首先安裝chromedriver,chromedriver與支援對應的chrome版本如下:
chromedriver版本 支援的chrome版本
v2.33 v60-62
v2.32 v59-61
v2.31 v58-60
v2.30 v58-60
v2.29 v56-58
v2.28 v55-57
v2.27 v54-56
v2.26 v53-55
v2.25 v53-55
v2.24 v52-54
v2.23 v51-53
v2.22 v49-52
v2.21 v46-50
v2.20 v43-48
v2.19 v43-47
v2.18 v43-46
v2.17 v42-43
v2.13 v42-45
v2.15 v40-43
v2.14 v39-42
v2.13 v38-41
v2.12 v36-40
v2.11 v36-40
v2.10 v33-36
v2.9 v31-34
v2.8 v30-33
v2.7 v30-33
v2.6 v29-32
v2.5 v29-32
v2.4 v29-32
如何檢視本機的chrome的版本,具體方法如下:
chromedriver解壓後放到python或者其他配置了環境變數的目錄下。
測試**及執行結果如下:
安裝plantomjs
5: 安裝lxml
6:安裝beautifulsoup
7:安裝pyquery
8:安裝pymysql
9:安裝pymongo
10:安裝redis
11:安裝flask
12:安裝django
python爬蟲常用庫安裝 爬蟲常用庫的安裝
請求庫 解析庫儲存庫 工具庫請求庫 urlib re python內建庫 requests pip3 install requests pip2,pip conda都是可以選擇的 selenium pip3 install selenium chromedriver 測試python下輸入 from...
python爬蟲相關庫安裝
python爬蟲涉及的庫 請求庫,解析庫,儲存庫,工具庫 1.請求庫 urllib re requests 1 urllib re是python預設自帶的庫,可以通過以下命令進行驗證 沒有報錯資訊輸出,說明環境正常 2 requests安裝 2.1 開啟cmd,輸入 pip3 install req...
Windows常用爬蟲庫的安裝
三 scrapy庫 之前安裝過python3.8了,這裡不在贅述,只是說說一些常用的庫和其環境的安裝 pip install requests依賴庫 會自動安裝 urllib3,idna,chardet,certifi驗證安裝 selenium是自動化測試工具,可以驅動瀏覽器執行操作 1 selen...