import requests
import os
import time
m = 1
p = int(input(「請輸入你要爬取的頁數:」))
for n in range (1,p+1):
#通過抓包獲取url
url = 「
#請求url,得到引數
response = requests.request("get",url,headers=headers)
#格式,不然會亂碼
response.encoding = "utf-8"
#獲取的個數
b = len(response.json()['data'])-2
for i in range(b):
# imgurl = (response.json()['data'][i]['middleurl'])
# print(imgurl)
# imgurl=response.json()['data'][i]['middleurl']
# print (imgurl)
#請求的而連線
data = requests.get(response.json()['data'][i]['middleurl'])
# print(response.json()['data'][i]['middleurl'])
# print(response)
#檢測資料夾,如果沒有就去建立
folder = os.path.exists("e:\\img\\")
if not folder:
os.makedirs("e:\\img\\")
else:
print ("********************====")
#儲存with open ("e:\\img\\"+str(m)+'.jpg','wb') as f:
爬取百度諮詢
獲取url,就是把關鍵字進行urlencode。整理爬取的內容,就是把一些 回車 空格 等雜七雜八的東西過濾掉。輸出結果下面是 import re from urllib import parse import time import requests from bs4 import beautif...
Python使用urllib2爬取百度百科
url管理器主要用來管理要爬取的url,放置重複爬取 輸出,將解析後的資料輸出儲存起來 以下為 示例 1.url管理器 管理要爬取的url class urlmanager object def init self 未爬取過的url self.new urls set 已爬取到的url self.o...
爬取百度(有道)翻譯
難點是分析動態網頁 抓包 找出url。self.query input 請輸入要翻譯的內容 self.url self.data self.headers def run self post response requests.post url self.url,data self.data,hea...