// an highlighted block
import re
import json
import urllib.request
import pandas as pd
import datetime
import time
#填入需要被轉換的貨幣英文縮寫:
from_currency =
['cny'
,'cop'
,'thb'
,'hkd'
,'myr'
,'sgd'
,'jpy'
,'aud'
,'gbp'
,'inr'
,'ars'
,'chf'
,'mxn'
,'rub'
,'cad'
,'brl'
,'aed'
,'krw'
,'clp'
,'twd'
,'eur'
,'nzd'
,'usd'
]#填入轉換目標幣種的英文縮寫:
to_currency =
'usd'
#設定函式爬取目標網頁資料進行匯率轉換
def get_cnyexchange
(currency)
:if currency.
upper()
=='cny'
: #若被轉換貨幣是cny
, 則預設輸出匯率為1
; tmp_exchange =
1else
: url =
"".format
(exchange_list=currency +
'cny'
) req = urllib.request.
request
(url)
f = urllib.request.
urlopen
(req)
html = f.
read()
.decode
("utf-8"
) s = re.
findall(""
,str
(html))[
0]sjson = json.
loads
(s) tmp_exchange = sjson[
"data"][
0][0
][1]
/10000
return tmp_exchange
target_exchange =
if to_currency.
upper()
=='cny'
:for i in
range(0
,len
(from_currency)):
tmp_exchange =
round
(get_cnyexchange
(from_currency[i]),
4)target_exchange.
(tmp_exchange)
time.
sleep(1
) #隔1秒抓取一次, 降低目標伺服器壓力
else
:for i in
range(0
,len
(from_currency)):
tmp_exchange =
round
(get_cnyexchange
(from_currency[i])/
get_cnyexchange
(to_currency),4
) target_exchange.
(tmp_exchange)
time.
sleep(1
) #隔1秒抓取一次, 降低目標伺服器壓力
##輸出為dataframe格式
target_df = pd.
dataframe()
print
(target_df)
使用Python進行疫情資料爬取
為了使用python學習爬取疫情資料,提前學習了python中的語法和各種儲存結構 dirt 若沒有這些基礎很難看懂python 更別提寫了 放入要爬的url url 設定header做乙個防爬機制 獲取response的json response requests.get url,headers ...
python爬取人民幣匯率中間價
python爬取人民幣匯率中間價,從最權威的 中國外匯交易中心。以人民幣兌美元的匯率為例 cny usd 指令碼詳情如下 windows coding utf 8 import time import requests import json t time.time 這裡必須是ms級別的時間戳 ti...
python進行網頁資料爬取(一)
網路資料採集的一般流程 1 通過 網域名稱獲取html資料 2 根據目標資訊解析資料 3 儲存目標資訊 4 若有必要,移到另乙個網頁重複這個過程。一 通過 網域名稱獲取html資料 使用requests庫來進行獲取html資料 import requests url r requests.get u...