過去的幾年裡,python已經和idl或matlab一樣,成為科學分析領域值得信賴的選擇。它擁有穩健的核心模組,可用於處理數值陣列(numpy)、分析 scipy)以及繪圖(matplotlib),同時還擁有十分豐富的專用模組。它能幫助人們減少編寫科學**的工作量,同時還能提高計算結果的質量。
本書向所有有python資料分析基本背景的人介紹如何在python下使用hdf5。本書假定讀者只熟悉python和numpy。本書將側重於hdf5的本地功能集,而不是python的高層抽象,以盡力確保在本書建議下建立的hdf檔案可移植。
最後,本書將盡力同時支援python 2和python 3的使用者。本書所有的示例都以python 2寫就,任何有可能導致誤會的區別都將在文字中特別註明。
[第1章 簡介
1.1 python和hdf5](
1.1.1 資料和元資料的組織
1.1.2 大資料複製
1.2 hdf5到底是什麼
1.2.1 hdf5檔案規格
1.2.2 hdf5標準庫
1.2.3 hdf5生態系統
[第2章 開始使用
2.1 hdf基本原理](
2.2 設定
2.2.1 python2還是python3
2.2.2 **示例
2.2.3 numpy
2.2.4 hdf5和h5py
2.2.5 ipython
2.2.6 時間和優化
2.3 hdf5工具
2.3.1 hdfview
2.3.2 vitables
2.3.3 命令列工具
2.4 你的第乙個hdf5檔案
2.4.1 使用環境管理器
2.4.2 檔案驅動
2.4.3 使用者塊
第3章 使用資料集
第4章 讓分塊和壓縮來幫忙
第5章 組、鏈結和迭代:hdf5的層次性
第6章 用特徵儲存元資料
第7章 更多關於型別
第8章 通過引用、型別和維度標尺來組織資料
第9章 hdf5併發性:多執行緒和多程序
第10章 下一步
索引
Python 讀取HDF5檔案
使用hdf5依賴於python的工具包 h5py 使用pandas讀取 hdf的優點 hdf的優點有 自述性 對於乙個hdf檔案裡的每乙個資料物件,有關於該資料的綜合資訊 元資料 在沒有任何外部資訊的情況下,hdf允許應用程式解釋hdf檔案的結構和內容。通用性 許多資料型別都可以被嵌入在乙個hdf檔...
Matlab建立HDF5資料集 壓縮
建立hdf5資料集必須先後使用h5create h5write命令 h5create官方鏈結 h5write官方鏈結 我創造的資料集大小是256x256x3x50000 每個256x256x3是rgb樣本。如果在matlab裡將rgb三維矩陣存成jpg,大小只有6kb 但是我把三維矩陣存入到hdf5...
Python系列之入門篇 HDF5
hdf5 層次性資料格式 作用於大資料儲存,其高效的壓縮方式節約了不少硬碟空間,同時也給查詢效率帶來了一定的影響,壓縮效率越高,查詢效率越低。pandas v0.20.2 含 之後的版本預設選用blosc壓縮,跟bzip2相比,其間做了乙個小測試,10000條資料,bzip2的壓縮率是blosc的3...