HDF5 檔案格式系統 Python

2021-08-29 20:18:17 字數 2126 閱讀 2020

1、什麼是hdf5

簡單的來說hdf5是一種新的檔案格式,可以進行大批量檔案的儲存,並且該種儲存格式支援可以通過numpy方便的進行資料的操作-包括切片,keys等操作。

具體的介紹參考這篇部落格hdf5介紹。

2、python 中 hdf5 模組的使用

貼乙個官方文件:hdf5官方文件 ,最好的學習方式還是看官方文件進行學習。(這裡的**對應的python 2.x版本)

python中可以進行hdf5模組的呼叫,並且進行檔案的讀寫,還是以乙個例子為例:

/media/hadoop/5610e34010e32629/wyk_cars/wyk_test_data/img_wyk/00010.jpg 0(2)hdf5檔案生成

使用的tflearn.data_utils的方法,也可以按照官方文件的方式進行creat

from tflearn.data_utils import build_hdf5_image_dataset

import h5py

new_train = "/media/hadoop/5610e34010e32629/wyk_cars/wyk_test_data/mini_data.txt"

build_hdf5_image_dataset(new_train, image_shape=(224, 224), mode='file', output_path='new_train.h5', categorical_labels=true, normalize=false)

print ('done creating new_train.h5')

(3)hdf5檔案的使用

hdf5檔案的開啟及使用:

需要注意的一點是檢視hdf5檔案的key不能按照官方文件的要求,因為輸入data.keys(),會輸出keysview(),而不是乙個list 了。

when using h5py from python 3, the keys(), values() and items() methods will return 

view-like objects instead of lists. these objects support containership testing and

iteration, but can』t be sliced like lists.

所以我們需要改變下對key的直接讀取方式:

data=h5py.file('new_val_224.h5', 'r')

for key in data.keys():

print(data[key].name)

#輸出 /x /y 兩個key,所以就可以進行呼叫並進行numpy的操作了

end

HDF5檔案讀寫

做實驗需要跑資料,caffe庫要求資料格式為hdf5.hdf5資料的import與export可以通過matlab簡單完成。hdfview可以簡單檢視hdf5資料。1.h5disp命令可以檢視hdf5資料格式 h5disp test.h5 hdf5 test.h5 group dataset dat...

HDF5檔案讀寫

做實驗需要跑資料,caffe庫要求資料格式為hdf5.hdf5資料的import與export可以通過matlab簡單完成。hdfview可以簡單檢視hdf5資料。1.h5disp命令可以檢視hdf5資料格式 1 h5disp test.h5 2hdf5 test.h5 3 group 4 data...

Python 讀取HDF5檔案

使用hdf5依賴於python的工具包 h5py 使用pandas讀取 hdf的優點 hdf的優點有 自述性 對於乙個hdf檔案裡的每乙個資料物件,有關於該資料的綜合資訊 元資料 在沒有任何外部資訊的情況下,hdf允許應用程式解釋hdf檔案的結構和內容。通用性 許多資料型別都可以被嵌入在乙個hdf檔...