1、什麼是hdf5
簡單的來說hdf5是一種新的檔案格式,可以進行大批量檔案的儲存,並且該種儲存格式支援可以通過numpy方便的進行資料的操作-包括切片,keys等操作。
具體的介紹參考這篇部落格hdf5介紹。
2、python 中 hdf5 模組的使用
貼乙個官方文件:hdf5官方文件 ,最好的學習方式還是看官方文件進行學習。(這裡的**對應的python 2.x版本)
python中可以進行hdf5模組的呼叫,並且進行檔案的讀寫,還是以乙個例子為例:
/media/hadoop/5610e34010e32629/wyk_cars/wyk_test_data/img_wyk/00010.jpg 0(2)hdf5檔案生成
使用的tflearn.data_utils的方法,也可以按照官方文件的方式進行creat
from tflearn.data_utils import build_hdf5_image_dataset
import h5py
new_train = "/media/hadoop/5610e34010e32629/wyk_cars/wyk_test_data/mini_data.txt"
build_hdf5_image_dataset(new_train, image_shape=(224, 224), mode='file', output_path='new_train.h5', categorical_labels=true, normalize=false)
print ('done creating new_train.h5')
(3)hdf5檔案的使用
hdf5檔案的開啟及使用:
需要注意的一點是檢視hdf5檔案的key不能按照官方文件的要求,因為輸入data.keys(),會輸出keysview(),而不是乙個list 了。
when using h5py from python 3, the keys(), values() and items() methods will return
view-like objects instead of lists. these objects support containership testing and
iteration, but can』t be sliced like lists.
所以我們需要改變下對key的直接讀取方式:
data=h5py.file('new_val_224.h5', 'r')
for key in data.keys():
print(data[key].name)
#輸出 /x /y 兩個key,所以就可以進行呼叫並進行numpy的操作了
end HDF5檔案讀寫
做實驗需要跑資料,caffe庫要求資料格式為hdf5.hdf5資料的import與export可以通過matlab簡單完成。hdfview可以簡單檢視hdf5資料。1.h5disp命令可以檢視hdf5資料格式 h5disp test.h5 hdf5 test.h5 group dataset dat...
HDF5檔案讀寫
做實驗需要跑資料,caffe庫要求資料格式為hdf5.hdf5資料的import與export可以通過matlab簡單完成。hdfview可以簡單檢視hdf5資料。1.h5disp命令可以檢視hdf5資料格式 1 h5disp test.h5 2hdf5 test.h5 3 group 4 data...
Python 讀取HDF5檔案
使用hdf5依賴於python的工具包 h5py 使用pandas讀取 hdf的優點 hdf的優點有 自述性 對於乙個hdf檔案裡的每乙個資料物件,有關於該資料的綜合資訊 元資料 在沒有任何外部資訊的情況下,hdf允許應用程式解釋hdf檔案的結構和內容。通用性 許多資料型別都可以被嵌入在乙個hdf檔...