selenium的使用對於新手來說十分友好,因為他避開了如今網路中的非同步載入抓取的困擾,使得我們大部分的時間可以用於提取資訊和儲存中,下面就簡單的列一些使用的**,希望給同樣初學的你有一定的參考價值。
#!/usr/bin/env python
#-*- coding: utf-8 -*-
__author__ = '
lix'
from selenium import
webdriver
from selenium.webdriver.common.action_chains import
actionchains
from selenium.webdriver.common.by import
byimport
time
defselenium_example():
site_url = '
'driver =webdriver.chrome()
driver.get(site_url)
time.sleep(3)
content = driver.page_source.encode('
utf-8')
driver.title
content
defmain():
selenium_example()
if__name__ == "
__main__":
main()
這裡的話你可以替換著找一些合適的**試一下,執行的時候會自動彈出測試的瀏覽器(這裡是谷歌瀏覽器),不是電腦或者其他與原因,請不要緊張。
接下來是如何利用selenium獲取資料
定位元素
find_elements_by_namefind_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector
舉例
username = driver.find_element_by_name('username')
password = driver.find_element_by_name('
password
')
selenium模組簡單使用
from selenium import webdriver selenium可以操作許多瀏覽器這裡我們使用chrome browser webdriver.chrome 如果你的瀏覽器驅動是安裝好的,這時候已經可以看到彈出來了乙個瀏覽器介面 browser.get input browser.fi...
使用selenium實現乙個簡單的爬蟲
使用selenium爬蟲 前2頁商品指定內容。主要思想 請求url,從原始碼中獲取指定selector,進行爬取。import time from selenium import webdriver browser webdriver.chrome browser.set page load tim...
selenium的入門使用
可以參考部落格 from selenium import webdriver selenium的webdriver類的功能 import time import os 0.建立乙個瀏覽器頁,使用驅動 driver webdriver.chrome executable path r c users ...