爬取京東商品（js）

from selenium import webdriver

import csv
import time
# 1. 接收要搜尋的商品型別,開啟商品搜尋頁面
pro = input("請輸入商品名稱:")
driver = webdriver.chrome()
driver.get("")
driver.find_element_by_class_name("text")\
.send_keys(pro)
driver.find_element_by_class_name("button")\
.click()
time.sleep(0.5)
i = 1
# 3. xpath匹配所有商品節點,篩選內容
while true:
# 2. 執行js指令碼,把下拉列表拉到最底部
driver.execute_script(
'window.scrollto(0,document.body.scrollheight)')
time.sleep(1)
r_list = driver.find_elements_by_xpath('//div[@id="j_goodslist"]//li')
#print(r_list[5].text)
for onepro in r_list:
m = onepro.text.split('\n')
# m : ["￥98.5","名稱","9條評價",...]
price = m[0]
name = m[1]
commit = m[2]
market = m[3]
l = [name,price,commit,market]
with open("商品.csv","a",newline="",encoding="gb18030")as f:
writer = csv.writer(f)
writer.writerow(l)
print("第%d頁抓取完畢" % i)
i += 1
if driver.page_source.find("pn-next disabled") == -1:
driver.find_element_by_class_name("pn-next").click()
time.sleep(2)
else:
print("所有商品爬取完畢")
break
#￥98.50
#包郵 玩轉django 2.0+玩轉python網路爬蟲書籍 黃永祥
#9條評價
#藍墨水圖書專營店
#關注#加入購物車

爬取京東商品

一 進入京東主頁 二 進入商品詳情頁 2 商品名稱 3 商品 from selenium import webdriver 用來驅動瀏覽器的 相當於模擬人的點選事件來連續的訪問瀏覽器 from selenium.webdriver import actionchains 破解滑動驗證碼的時候用的 可...

Python爬取京東商品

自動開啟京東首頁，並輸入你要搜尋的東西，進入介面進行爬取資訊 from selenium import webdriver import time class jdspider object def init self self.browser webdriver.chrome self.url s...

selenium爬取京東商品

from selenium import webdriver import time import pandas as pd url browser webdriver.chrome browser.get url 找到頁面中的搜尋框，然後輸入想找的商品 browser.find element b...