windows64位家庭版使用pycharm(version2020.2)編譯環境python3.7編寫。成功捕獲乙個網頁的日誌部分。
selenium是一種自動化測試的技術,可以直接在瀏覽器中開啟**,審查**等,可以模擬使用者的操作。
運用selenium可以測試我們創作的web專案能否更好的在不同的瀏覽器中執行,也可以用來爬取乙個網頁的資訊。
通過selenium捕獲「」的log資訊,並儲存在info.json檔案中
請注意,如果您未執行上述步驟,在編譯檔案過程中可能會報錯,因為編譯器找不到瀏覽器驅動,它無法開啟瀏覽器進行下一步的內容。
當然,也可以用這種方法設定您的web driver的環境變數:
chromedriver = "\您的chromedriver路徑\"
driver = webdriver.chrome(chromedriver)
包含的庫檔案:
如果提示您未安裝某個依賴庫,您可以使用命令"pip install
請注意這裡的13行是我的chromium瀏覽器的目錄,瀏覽器可執行程式在這個目錄下面,我們需要在**中宣告chrome.exe的路徑,否則可能會報錯,error msg :
desired capabilities類提供一組鍵值對key-value,我們通過它指定執行環境是谷歌瀏覽器,您可以根據您的需要修改如火狐、safari…
輸出抓取的info.json檔案
#設定啟動項,
設定要抓取的網頁
driver = webdriver.chrome(desired_capabilities=capabilities, options=chrome_options)
driver.get(
'')#列印抓取的資訊
info=
for capw_ in driver.get_log(
'browser'):
pprint.pprint(capw_)
j = json.dumps(info, indent =
4,ensure_ascii=
false
)with codecs.
open
('info.json'
,'w'
,'utf-8')as
file
:file
.write(j)
driver.close(
)
如果您需要載入一些瀏覽器擴充套件,您可以嘗試在**中加入以下內容
chrome_options.add_extension(
"\你的擴充套件程式路徑\擴充套件程式.crx"
)
find_element_by_id
find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector
定位多個匹配元素的方法:
find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector
Python3 7安裝部署
教你如何在 centos 7 下編譯安裝 python 3.7 與 python 2.7.5 共存。環境 centos 7.6 x64 一 安裝python 3.7 wget 如果沒有wget命令,可以使用命令安裝 yum y install wget 安裝依賴包,避免安裝過程 現的 zipimpo...
python37安裝失敗 安裝python37
python原始碼安裝 解除安裝py37 sudo apt get autoremove python3.7 解壓檔案 sudo tar xvf python 3.7.7.tgz 編譯檔案 安裝依賴庫 sudo apt y install libbz2 dev libncurses5 dev lib...
linux環境安裝python3 7
我用的是linux centos 6 1 首先安裝依賴包,確認gcc是否安裝,可以用檢視 gcc version 2.如果沒有則進行安裝,需要sudo許可權 yum y install gcc 3.安裝其他依賴包 可以不安裝,但是可能會安裝過程中報錯 yum y install zlib devel...