Python爬蟲常見異常及解決辦法

2021-10-06 01:55:42 字數 798 閱讀 1862

網際網路行業介紹

給大家介紹一門網際網路行業認知課帶你一起深入認識網際網路這個行業,為將來的就業鋪好路。

在爬蟲時經常會使用selenium實現自動化,來模擬google訪問目標網頁,如果出現標題中錯誤,可能是你自定義目錄安裝了谷歌瀏覽器,谷歌的二進位制可執行檔案(一般檔名為chrome.exe)不在預設目錄中,此時有2種解決辦法:

在初始化chrome物件時加入引數binary_location來指定你自定義安裝的chrome.exe檔案的路徑,示意如下:

from selenium import webdriver

options = webdriver.chromeoptions()

driver = webdriver.chrome(options=options)

driver.get(

"")print

(driver.title)

driver.quit(

)

此時再執行就不會報錯。

雖然這種方法可以解決問題,但是每次初始化chrome物件都需要配置binary_location引數,顯得很麻煩,此時可以採用第2種方法。

這是一勞永逸的方法,在selenium庫的引數檔案options.py中設定chrome.exe的路徑,在pycharm中的示意如下:

修改源**之後,就不需要再指定binary_location引數而直接初始化了。

Python爬蟲總結 常見的報錯 問題及解決方案

問題 ip被封,或者因訪問頻率太高被攔截?解決方案之一 使用 ip即可。問題 正確使用xpath之後並沒有輸出?解決方案之一 xpath只能提取未注釋的 改用正規表示式即可。問題 容易被反爬搞死?解決方案之一 headers中都要帶上user agent,而cookie能不帶則不帶。報錯 型別錯誤 ...

Python爬蟲總結 常見的報錯 問題及解決方案

問題 ip被封,或者因訪問頻率太高被攔截?解決方案之一 使用 ip即可。問題 正確使用xpath之後並沒有輸出?解決方案之一 xpath只能提取未注釋的 改用正規表示式即可。問題 容易被反爬搞死?解決方案之一 headers中都要帶上user agent,而cookie能不帶則不帶。報錯 utf 8...

python 常見異常及try語句

1 assertionerror 斷言語句 assert 失敗 2 attributerrrror 嘗試訪問位置的物件屬性 3 indexerror 索引超出系列的範圍 4 keyerror 字典中查詢乙個不存在的關鍵字 注意 使用.get方法即使關鍵字不存在也不會報錯即程式不會垮掉 5 namee...