資料分析之Pandas(六)檔案讀取與儲存

2021-09-12 19:52:20 字數 3164 閱讀 2194

我們的資料大部分存在於檔案當中,所以pandas會支援複雜的io操作,pandas的api支援眾多的檔案格式,如csv、sql、xls、json、hdf5

注:最常用的hdf5和csv檔案

檔案讀取與儲存

pd.to_csv()

hdf5讀取與儲存

csv與hdf5對比

如何獲取hdf5檔案中的key?

json讀取與儲存

pd.to_json()

csv讀取csv檔案-read_csv

import pandas as pd

# 讀取檔案,並且指定只獲取'open', 'close'指標

寫入csv檔案-to_csvseries.to_csv(path=none, index=true, sep=』, 『, na_rep=』』, float_format=none,header=false, index_label=none, mode=『w』, encoding=none,compression=none, date_format=none, decimal=』.』)

案例

# 選取10行資料儲存,便於觀察資料

會發現將索引存入到檔案當中,變成單獨的一列資料。如果需要刪除,可以指定index引數,刪除原來的檔案,重新儲存一次。

# index:儲存不會講索引值變成一列資料

read_hdf與to_hdf

hdf5檔案的讀取和儲存需要指定乙個鍵,值為要儲存的dataframe

dataframe.to_hdf(path_or_buf, key, \kwargs)

案例

提取碼:nb8c

day_high = pd.read_hdf(

"./stock_data/day/day_high.h5"

)

如果讀取的時候出現以下錯誤

需要安裝安裝tables模組避免不能讀取hdf5檔案

)

再次讀取的時候, 需要指定鍵的名字

new_high = pd.read_hdf(

"./test.h5"

, key=

"day_high"

)

json

json是我們常用的一種資料交換格式,前面在前後端的互動經常用到,也會在儲存的時候選擇這種格式。所以我們需要知道pandas如何進行讀取和儲存json格式。

read_json

lines : boolean, default false

typ : default 『frame』, 指定轉換成的物件型別series或者dataframe

資料準備

提取碼:8rw0

案例

案例拓展

優先選擇使用hdf5檔案儲存

資料分析之Pandas

from pandas import series,dataframe import pandas as pd import numpy as np states california ohio oregon texas year 2000,2001,2002,2003 value 35000,71...

資料分析之pandas

pandas是基於numpy構建的庫,擁有兩種資料結構 series和dataframe series 就是一維陣列 dataframe 是二維陣列series in 1 from pandas import series,dataframe in 2 import pandas as pd in ...

Pandas 03 檔案讀和儲存

詳解pandas檔案讀寫和儲存 1 pandas.read csv讀取檔案 2 快速瀏覽讀入的資料 3 pandas.dataframe.to csv寫入檔案 4 參考資料 pandas能處理多種 資料型別 詳細見 data1 name2 age3 data name age 2018 6 16 李...