本文爬取內容,輸入要搜尋的關鍵字可自動爬取京東**上相關商品的店鋪名稱,商品名稱,**,爬取100頁(共100頁)
**如下;?1
2345
6789
1011
1213
1415
1617
1819
2021
2223
2425
2627
2829
3031
3233
import
requests
import
re
# 請求頭
headers
=
def
get_all(url,key):
for
page
in
range
(
1
,
200
,
2
):
params
=
num
=
int
((
int
(page)
+
1
)
/
2
)
try
:
response
=
requests.get(url
=
url,params
=
params,headers
=
headers)
# 轉碼
content
=
data_all
=
re.findall(
'.*?(.*?).*?.*?title="(.*?)"'
'.*?
for
i
in
data_all:
with
open
(key
+
'.txt'
,
'a+'
, encoding
=
'utf-8'
) as f:
f.write(
'店鋪名稱:'
+
i[
2
]
+
'\n'
+
'商品名稱:'
+
i[
1
]
+
'\n'
+
'**:'
+
i[
0
]
+
'\n\n'
)
print
(
'第'
+
str
(num)
+
'頁'
+
)
except
exception as e:
print
(e)
if
__name__
=
=
'__main__'
:
print
(
'輸入要搜尋的內容,獲取京東**裡面的商品名稱,店鋪名稱,商品**'
)
key
=
input
(
'輸入搜尋內容:'
)
url
=
''
get_all(url,key)
打包成.exe可執行檔案。
pip install pyinstaller
在.py檔案目錄下開啟命令列視窗,執行打包命令;
e:\練習\最後階段\0808\jd1>pyinstaller -f -i dog.ico jd.py
出現successfully表示打包成功;
27525 info: building exe from exe-00.toc completed successfully.
可執行程式在當前資料夾下的dist資料夾下;
執行效果;
可同時執行多個程式;
輸出結果;
done。
爬取京東商品資訊
爬取京東商品資訊 from selenium import webdriver from selenium.webdriver import chromeoptions from selenium.webdriver import actionchains from selenium.webdriv...
python 爬取京東商品資訊
coding utf 8 import os import re import time from urllib.parse import urlencode import requests from lxml import etree import pymysql from time import...
京東app商品資訊爬取
準備工作 配置網路,確認手機和pc處於同一區域網下,並配置好 服務 安裝證書,確保可以抓取https的請求資訊。安裝並開啟mongodb資料庫。抓取分析 抓取資訊格式為json格式。具體如下圖所示 連線mongodb資料庫jddb,選擇集合shop client pymongo.mongoclien...