建立hdf5資料集必須先後使用h5create h5write命令
h5create官方鏈結
h5write官方鏈結
我創造的資料集大小是256x256x3x50000
每個256x256x3是rgb樣本。
如果在matlab裡將rgb三維矩陣存成jpg，大小只有6kb
但是我把三維矩陣存入到hdf5中，大小竟達到200+kb
全部訪問完大小達到200x50000=10gb，這對於我成萬計的樣本量是萬萬不能接受的。
感謝鏈結的啟發。
可以在h5create中加入壓縮等級（0~9），採用gzip壓縮。
h5create(filename,'/x',[3 256 256 inf],'chunksize',[3 256 256 1],'deflate',8);解決完問題後才想起來，其實jpg也是採用了壓縮演算法才會把資料量變小的。如果h5create中未壓縮，將會把樣本中大量255值原封不動存入，自然會導致hdf5檔案大小增大。
matlab建立HDF5檔案
一 例子 1 建立寫入 testdata uint8 magic 5 h5create my example.h5 dataset1 size testdata 建立 h5write my example.h5 dataset1 testdata 寫入 2 檢視 h5disp test.h5 3 讀...
深度學習 資料集 HDF5資料格式
hdf 是用於儲存和分發科學資料的一種自我描述 多物件檔案格式，是一種儲存相同型別數值的大陣列的機制。hdf 是由美國國家超級計算應用中心 ncsa 建立的，以滿足不同群體的科學家在不同工程專案領域之需要。hdf 可以表示出科學資料儲存和分布的許多必要條件。hdf 被設計為 乙個hdf5檔案就是乙個...
安裝HDF5及在VS下配置HDF5
最近要用到hdf5來儲存資料,想要安裝嘗試用一下.發現網上有兩種安裝方式,一種是obtain518.html 獲取最新的hdf5 1.8軟體 另一種是cmakebuild518.html 使用cmake構建hdf5 1.8.我原本嘗試後一種方法 windows下hdf5靜態庫的封裝與測試 已驗證 發...