資料庫壓縮技術目前已經成為了各種資料庫的標配技術,這裡面包括三大商業資料庫、各種專業的分新型資料庫,也包括各種開源資料庫和nosql資料庫。
到了今天,資料庫壓縮技術的運用已經不單純是為了節省儲存成本,更多的時候,是為了提供更高的計算密度(比如容量受限的ssd),以及提供更高的查詢效能(olap)。對於壓縮的有利因素,一些公共的認知是:列比行更有利於壓縮,更大的輸入、有序的輸入更有利於壓縮。
不同資料庫對於壓縮粒度的選擇也千差萬別,大多數資料庫使用塊作為壓縮的基本單位,少數資料庫會提供字段級的壓縮,但也有一些資料庫使用表、甚至整個庫作為壓縮的基本單位。很明顯,壓縮粒度越粗,對系統的可用性影響越大,表級以上的壓縮粒度通常不再被認為是資料庫本身支援了壓縮技術。
除了壓縮粒度之外,儲存格式的選擇對應用場景也比較重要,比如行存適合於寬查詢(訪問少數行和多數列),面向投影優化(oltp);而列存適合於窄查詢(訪問多數行和少數列),面向filter優化(olap);兩者的混合體是所謂的塊內按列壓縮,塊間按行組織,即行列混合儲存(pax),典型的代表是oracle exadata的hcc。
下面給出乙個資料庫壓縮技術的survey:
實時資料庫中的資料壓縮技術
標籤 資料庫 演算法磁碟 網路圖形工作 2009 09 21 11 22 2715人閱讀收藏 舉報 實時資料庫 4 實時資料庫中的資料壓縮技術很高深很神秘。轉 bbs.51cto.com 現在的資料壓縮理論和技術已經很成熟,大家可以看看我 的博文 資料壓縮技術簡史 該文章淺顯易懂,是一篇很好的關於資...
壓縮資料庫日誌
經常在csdn上看到發帖說,壓縮日誌檔案處理不當,導致資料庫損壞,甚至不能恢復資料,於是就寫了乙個通用的資料庫日誌檔案壓縮的儲存過程來解決此問題 壓縮資料庫的通用儲存過程 壓縮日誌及資料庫檔案大小 因為要對資料庫進行分離處理 所以儲存過程不能建立在被壓縮的資料庫中 鄒建 2004.03 引用請保留此...
壓縮資料庫日誌
經常在csdn上看到發帖說,壓縮日誌檔案處理不當,導致資料庫損壞,甚至不能恢復資料,於是就寫了乙個通用的資料庫日誌檔案壓縮的儲存過程來解決此問題 壓縮資料庫的通用儲存過程 壓縮日誌及資料庫檔案大小 因為要對資料庫進行分離處理 所以儲存過程不能建立在被壓縮的資料庫中 鄒建 2004.03 引用請保留此...