python爬蟲相關庫安裝

python爬蟲涉及的庫：

請求庫，解析庫，儲存庫，工具庫

1. 請求庫：urllib/re/requests

（1） urllib/re是python預設自帶的庫，可以通過以下命令進行驗證：

沒有報錯資訊輸出，說明環境正常

（2） requests安裝

2.1 開啟cmd，輸入

pip3 install requests

（3） selenium安裝（驅動瀏覽器進行**訪問行為）

3.1 開啟cmd，輸入

pip3 install selenium

**：這個路徑只要在path變數中就可以

3.3 等待安裝完成後，驗證

回車後彈出chrome瀏覽器介面

3.4 安裝其他瀏覽器

無介面瀏覽器phantomjs

驗證：開啟cmd

phantomjs

console.log(
'phantomjs')
ctrl+c
python
from selenium import webdriver
driver =webdriver.phantomjs()
dirver.get(
'')driver.page_source

2.1 lxml (xpath)

開啟cmd

pip3 install lxml

pip3 install 檔名.whl

開啟cmd，需要先安裝好lxml

pip3 install beautifulsoup4

python

from bs4 import beautifulsoup
soup = beautifulsoup('
','lxml
')

開啟cmd

pip3 install pyquery

3. 儲存庫

3.1 pymysql（操作mysql，關係型資料庫）

安裝：

pip3 install pymysql

3.2 pymongo（操作mongodb，key-value）

安裝

pip3 install pymongo

3.3 redis（分布式爬蟲，維護爬取佇列）

安裝：

pip3 install redis

4.工具庫

4.1 flask（web庫）

4.2 django（分布式爬蟲維護系統）

pip3 install django

pip3 install jupyter

開啟cmd

jupyter notebook

python安裝之爬蟲相關安裝1

爬蟲新手 然後選擇命令提示符，進入cmd，轉到這個目錄下 按照自己的目錄轉 然後輸入 python setup.py install 進行安裝 由於我已經安裝成功，就沒有截圖了，反正如果你跳出了安裝，就說明安裝成功，然後你可以到idle或者你的python相關編譯軟體上去測試 如果你在安裝中失敗了，...

python 安裝wordcloud庫相關問題

程式設計新手的第一篇部落格，記錄一下解決問題的喜悅，也幫助同為新手的夥伴少走彎路。安裝wordcloud可能出現的問題 安裝時，輸入 pip install wordcloud執行wordcloud檔案後會產生錯誤 no module named matplotlib 這個時候再安裝matplotl...

python爬蟲常用庫安裝 爬蟲常用庫的安裝

請求庫 解析庫儲存庫 工具庫請求庫 urlib re python內建庫 requests pip3 install requests pip2,pip conda都是可以選擇的 selenium pip3 install selenium chromedriver 測試python下輸入 from...