selenium爬取維基百科資訊

selenium呼叫firefox瀏覽器進行資料採集。

操作環境：jetbrains pycharm 2018.2.2 x64編譯器，python 3.6

安裝firefox瀏覽器（使用預設路徑安裝）；

在pycharm編譯器中安裝selenium包；

測試是否安裝成功；

from selenium import webdriver

browser = webdriver.firefox(
)

首先，使用web開發者工具檢視網頁的結構.

"國王與我"

browser.get(url+word)

browser.execute_script(

"window.scrollto(0, document.body.scrollheight);"

)# 定位到 li 標籤

title = browser.find_elements_by_xpath(

"//*[@id='overview']/p"

)introduction = browser.find_elements_by_xpath(

"/html/body/div[2]/div[1]/article/div/section[1]/p"

)print

(title,

'\n'

, introduction,

'\n'

, plot,

'\n'

)參考教程:

[1]:

利用 selenium 爬取糗事百科

需要 最近看到了selenium介紹，說是可以模擬人類自動開啟網頁 很有興趣，於是學習了下，果然 興趣是最好的老師。說明 選取糗事百科，因為沒有設定爬蟲robots，所以用來練手，請不要惡意爬取。如下 usr bin env python coding utf 8 import time from ...

WIKI 維基百科

今天.我又了解了乙個新的東東.wiki.wiki一詞源自夏威夷語的 wee kee wee kee 本是 快點快點 之意。在這裡wiki指的是一種超文字系統，系支援那些面向社群的協作式寫作，同時也包括一組支援這種寫作的輔助工具。有人認為，wiki系統屬於一種人類知識的網路系統，我們可以在web的基礎...

DevOps 維基百科

3 月，跳不動了？devops development和operations的組合詞 是一種重視 軟體開發人員 dev 和 it運維技術人員 ops 之間溝通合作的文化 運動或慣例。透過自動化 軟體交付 和 架構變更 的流程，來使得構建 測試 發布軟體能夠更加地快捷 頻繁和可靠。1 可以把devop...