爬資料的時候,一般**獲取資料訪問的動態js檔案是可以直接訪問的,用普通
request = urllib.request.urlopen(url)
res = request.read()
就可以獲取
而有的不能直接獲取,返回403報錯,意思是訪問不到,
而這種明明有資料,伺服器就是不給你返回資料的鏈結,可以使用加headers的方式,模擬網頁環境
headers =
這裡訪問的是中國天氣網的資料,
url=『
需要匹配的引數是headers中的host和referer
之後使用
req = urllib.request.request(url=url,data=none,headers=headers)
request = urllib.request.urlopen(req)
res = request.read()
就可以訪問了
當然,在訪問普通的url(無403錯誤)時,也可以加herders
python天氣預報
1.引入requests import requests def query now 查詢實時天氣 return none query city input 請輸入要查詢的城市名稱 2.準備url位址 url query city 3.發請求,接收資料 response requests.get u...
ziheng 爬取天氣預報
import requests import city import time bj input 你想查詢哪個城市?most cold city 巴拉巴拉 most cold city wendu 100a 1for i in city.citycode.keys print 這是查詢的第 d個城市...
API爬取天氣預報資料
和風天氣api 該 為個人開發者提供免費的天氣預報資料,自行訪問官網註冊,在控制台看到個人的key。然後看api文件,基本可以開發了,有訪問次數限制。import requests import time import pymongo 和風天氣api提供了3000多個城市的天氣預報,我們先獲取這些城...