利用selenium驅動瀏覽器通過css selector搜尋得到漫畫每一話的鏈結
通過requests獲取的的內容儲存到本地電腦上
from selenium import webdriver
from selenium.webdriver.common.by import by
from selenium.webdriver.common.keys import keys
from selenium.webdriver.support import expected_conditions as ec
from selenium.webdriver.support.wait import webdriverwait
from selenium.webdriver.support.select import select
import os
import time
import requests
import random
defdown_pic
(dir_name,one_comic_name,url_list):
dir_path = dir_name +'\\'+ one_comic_name
pass
else:#否則就建立資料夾
browser.close()
comic_urls_element_list = browser.find_elements_by_css_selector(『#play_0 > ul > li > a』)獲取狐妖小紅娘這個漫畫更新的所有話的elements的列表，然後通過遍歷此列表，訪問element的get_attribute函式獲取每一話的鏈結。
後續使用非驅動瀏覽器的方式進行抓取漫畫以及改進演算法和debug。
selenium抓取cookie進行模擬登陸
抓取cookie.json import json from selenium import webdriver import time url driver webdriver.chrome driver.get url 卡主瀏覽器 回車繼續執行 input 請手動登入 獲取cookie並通過js...
用Selenium抓取新浪天氣
1 用selenium 系統環境 用虛擬環境實現 一 建立虛擬環境 mkvirtualenv python usr bin python python 2 二 啟用虛擬環境 workon python 2 三 安裝selenium pip install selenium 四 安裝firefox的s...
selenium頁面搜尋批量抓取
selenium頁面搜尋批量抓取 from selenium import webdriver from selenium.webdriver.common.by import byfrom selenium.webdriver.support.ui import webdriverwait 等待乙...