python 爬蟲細節

2021-07-29 12:17:56 字數 1394 閱讀 3743

ip = "***"

port = ***

profile = webdriver.firefoxprofile()

profile.set_preference('network.proxy.type', 1)

profile.set_preference('network.proxy.socks', ip)

profile.set_preference('network.proxy.socks_port', port)

profile.set_preference('network.proxy.ssl', ip)

profile.set_preference('network.proxy.ssl_port', port)

self.driver = webdriver.firefox(executable_path=self.firefox_path,firefox_profile=profile)

【異常】selenium.common.exceptions.webdriverexception: message: {「errormessage」:「『undefined』 is not an object

【解決辦法】

設定使用者**設定導致了這個問題,可能是phantomjs不支援相應的**。

錯誤**:

dcap = dict(desiredcapabilities.phantomjs)

dcap["phantomjs.page.settings.useragent"] = (

"user-agent,mozilla/5.0 (compatible; msie 9.0; windows nt 6.1; trident/5.0")

driver = webdriver.phantomjs(desired_capabilities=dcap)

driver = webdriver.phantomjs()

更正做法:

driver = webdriver.phantomjs()
selenium中,把webdriver的firefox賦值給變數後,提示keyerror:』sessionid』 ?

出現這種情況的原因,可能是版本的問題。版本a 和 版本b 的中的key值發生了變化,所以系統交替的地方(firfox驅動 + selenium產生了不匹配)產生了問題。

解決辦法:

pip install -u selenium
更新一下selenium

如果當前目錄下有selenium目錄,請更新一下,或刪除掉

更新geckodriver.exe

參考:

關於該異常的一些討論

關於python爬蟲中的細節問題

關於python爬蟲中的細節問題 當我學習python爬蟲用到beautifulsoup的時候我自己注意到的乙個小問題 html this is a good man soup beautifulsoup html,lxml print soup.p.prettify print soup.p.sp...

Python Scrapy 自動爬蟲注意細節(2)

一 自動爬蟲的建立,需要指定模版 如 scrapy genspider t crawl stockinfo quote.eastmoney.com crawl 爬蟲模版 stockinfo 爬蟲名稱,後續敲命令執行爬蟲需要輸入的 通過 scrapy genspider l 檢視可用模版 二 sett...

Python Scrapy 自動爬蟲注意細節(1)

一 首次爬取模擬瀏覽器 在爬蟲檔案中,新增start request函式。如 需要匯入 from scrapy.http import request 二 自動爬取模擬瀏覽器 如抓取不到目標 資料,很有可能是這個地方協議沒有做配置。三 注釋原起始頁 如使用了start requests方法,需要注釋...