使用selenium爬取動態網頁評論

2021-08-19 15:26:24 字數 1073 閱讀 4948

爬取**:

通過ctrl+shift+c定位,並且搜尋frame,定位框架所在位置:

找到html**:

< iframe

title = "livere"

scrolling = "no"

src = ""

style = "min-width:

100%; width:

100px; height:

6177px; overflow:

hidden; border:

0pxnone; z-index:

124212;"

id = "lv-comment-567"

frameborder = "0" >

< / iframe >

在selenium中我們通過指定iframetitle名來定位:

driver.switch_to.frame(driver.find_element_by_css_selector("iframe[title='livere']"))
class="reply-content">

****在**?

利用selenium實現動態網頁的爬取

import re from selenium import webdriver from selenium.webdriver.chrome.options import options 通過獲取關鍵字職位數量 def numberpositionsbykeyword searchword 建立c...

網路爬蟲 爬取動態網頁

import requests from bs4 import beautifulsoup res requests.get res.encoding utf 8 soup beautifulsoup res.text,html.parser commentcount soup.select one...

使用selenium進行對手機知網的爬取

在留校期間,學習了selenium這個強大的python庫,它的使用完全解決了對一些經過js渲染的網頁的解析和爬取,它可以實現人對網頁的基本操作,這樣也 上的反爬有了很有效的解決,雖然單體執行速度是慢了,但是在之後可以把它加入到scrapy框架裡面,然後實現分布式,提高爬去速度的,接下來我講講我是用...