1.requests pip3 install requests
2.selenium pip3 install selenium
3.安裝谷歌和火狐瀏覽器
4.chromedriver和geckodriver [github上搜尋，windows複製到python的
scripts目錄下，linux 系統配置環境變數或者移動到/usr/bin目錄
sudo
mv chromedriver /usr/bin
sudo
mv geckodriver /usr/bin
或者配置環境變數
谷歌 將可執行檔案放到/usr/local/chromedriver
~/.profile
export path=
"$path://usr/local/chromedriver"
儲存後執行如下命令
source ~/.profile
驗證 控制台 geckodriver
python**
from selenium import webdriver
browser=webdriver.chrome(
) 如果彈出空白的谷歌瀏覽器則成功
火狐 將可執行檔案放到/usr/local/geckodriver
~/.profile
export path=
"$path://usr/local/geckodriver"
儲存後執行如下命令
source ~/.profile
驗證 控制台 geckodriver
python**
from selenium import webdriver
browser=webdriver.firefox(
) 如果彈出空白的火狐瀏覽器則成功
5.phantomjs
windows是將bin目錄新增到環境變數，或者
直接複製到python的scripts資料夾
或者直接
sudo apt install phantomjs
測試是否安裝成功
phantomjs
出現phantomjs命令列說明成功
**測試
from selenium import webdriver
browser=webdriver.phantomjs(
) browser.get(
"") print(browser.current_url)
6.selenium已經放棄phantomjs了，建議使用火狐或者谷歌無介面瀏覽器。
使用無介面瀏覽器selenium+headless firefox
selenium+headless firefox和selenium+firefox，區別就是例項option的時候設定-headless引數。
前提條件：
- 本地安裝firefox瀏覽器
- 本地需要geckodriver驅動器檔案，如果不配置環境變數的話，需要手動指定executable_path引數。
7.from selenium.webdriver import firefox
from selenium.webdriver.firefox.options import options
def main(
): options = options(
) options.add_argument(
'-headless'
) driver = firefox(executable_path=
'/usr/bin/geckodriver
', firefox_options=options)
driver.get(
"") print(driver.page_source)
driver.close(
)if __name__ ==
'__main__'
: main(
)8.安裝非同步web服務庫aiohttp
字串編碼檢測庫 cchardet
加速dns的解析庫aiodns
pips install cchardet aiodns
9.could not find a version that satisfies the requirement aiohttp等解決辦法
更新pip
pip install --upgrade pip
python3
pip3 install --upgrade pip
02爬蟲requests請求庫
1.介紹 使用requests可以模擬瀏覽器的請求，比起之前用到的urllib，requests模組的api更加便捷 本質就是封裝了urllib3 3.安裝 pip3 install requests 4.各種請求方式 常用的就是requests.get 和requests.post import ...
爬蟲解析庫的安裝
1.lxml pip3 install lxml 2.beautifulsoup4 pip3 install beautifulsoup4 3.pyquery pip3 install pyquery 4.tesserocr sudo apt get install y tesseract ocr ...
python爬蟲常用庫安裝 爬蟲常用庫的安裝
請求庫 解析庫儲存庫 工具庫請求庫 urlib re python內建庫 requests pip3 install requests pip2,pip conda都是可以選擇的 selenium pip3 install selenium chromedriver 測試python下輸入 from...