from
selenium
import
webdriver
import
time
import
csv#
接受使用者輸入
,訪問京東
pro=
input
("請輸入要爬取的商品："
)driver
=webdriver
.chrome()
driver
.get
("")i
=1#傳送文字到搜尋框
,text
=driver
.find_element_by_class_name
("text"
)text
.send_keys
(pro
)button
=driver
.find_element_by_class_name
("button"
)button
.click()
time
.sleep(1
)while
true:
#動態載入--
>
全部載入
#執行指令碼
,進度條拉到底部
driver
.execute_script('
window
.scrollto(0
,\document
.body
.scrollheight)'
)time
.sleep(2
)#正常解析爬取
r_list
=driver
.find_elements_by_xpath\(
'//div[@id="j_goodslist"]//li')#
r為每乙個商品的節點物件
forr
inr_list:m=
r.text
.split
('\n')#
["￥52.80"
,"python..."
,"200+",]
ifm[1
]!="拍拍"
:price=m
[0]name=m
[1]commit=m
[2]market=m
[3]else:
price=m
[0]name=m
[2]commit=m
[3]market
="拍拍"
with
open
("商品.csv"
,"a"
,newline=""
,encoding
="gb18030")as
f:writer
=csv
.writer(f
)l=[
name.strip(),price.strip(),
commit.strip(),market.strip()
] writer
.writerow(l
)print
("第%d頁爬取成功"%i
)i+=
1#ifdriver
.page_source
.find
("pn-next disabled")=
=-1:
driver
.find_element_by_class_name
("pn-next").
click()
time
.sleep(1
)else:
print
("抓取結束,共抓取%d頁"%i
)break
爬取京東商城商品資訊
from selenium import webdriver from selenium.webdriver import actionchains 獲取屬性 from selenium.webdriver.common.keys import keys from selenium.webdrive...
selenium 爬蟲爬取京東商城商品資訊
看完用selenium爬取 商品資訊的網課，於是乎想著自己也整乙個selenium程式來爬取京東以作鞏固。寫了幾個小時的 通過不斷除錯，學到了很多細節上的處理，完整 在下方，使用時修改搜尋的引數就可以開始爬取了，事先要安裝goole chrome的驅動。最終爬取的結果儲存在了products陣列中，...
爬取京東商品
一 進入京東主頁 二 進入商品詳情頁 2 商品名稱 3 商品 from selenium import webdriver 用來驅動瀏覽器的 相當於模擬人的點選事件來連續的訪問瀏覽器 from selenium.webdriver import actionchains 破解滑動驗證碼的時候用的 可...