HBase修改壓縮格式及Snappy壓縮實測分享

1. hbase修改table壓縮格式步驟

2. 實測結果分享

修改hbase壓縮演算法很簡單，只需要如下幾步：

1

disable'test'

實際產品環境中，』test』表可能很大，例如上幾十t的資料，disable過程會比較緩慢，需要等待較長時間。disable過程可以通過檢視hbase master log日誌監控。

2. 修改表的壓縮格式

1

alter'test', name =>'f', compression =>

1

alter'test',

同樣提醒，別刪錯列族，否則麻煩又大了~

3. 重新enable表

1

enable'test'

4. enable表後，hbase表的壓縮格式並沒有生效，還需要乙個動作，即hbase major_compact

1

major_compact'test'

該動作耗時較長，會對服務有很大影響，可以選擇在乙個服務不忙的時間來做。

describe一下該錶，可以看到hbase 表壓縮格式修改完畢。

1. 線上有乙個稍微大些的表，壓測前的大小是

1

2

[***x]hadoop fs -du/hbase/tablename

37225209575949    hdfs://***x:9000/hbase/tablename

也即33.85613088171249t

2. 等最終major_compact完畢後，資料大小為

[***x]hadoop fs -du /hbase/tablename

14910587650937    hdfs://***x:9000/hbase/tablename

3. 實測情況下，remaining為：

13.56110046884805/33.85613088171249 = 40.055%

有一點需要說明，因為是線上服務，所以在修改壓縮格式後，至comact結束，中間有入庫操作，大概有一周到兩周的資料入庫。也就是說，實際值要比40.055%小一些，但是應該影響不太大。

HBase修改壓縮格式及Snappy壓縮實測分享

1.hbase修改table壓縮格式步驟 2.實測結果分享 修改hbase壓縮演算法很簡單，只需要如下幾步 1disable test 實際產品環境中，test 表可能很大，例如上幾十t的資料，disable過程會比較緩慢，需要等待較長時間。disable過程可以通過檢視hbase master l...

zip,rar及linux下常用的壓縮格式

日常操作中我們經常使用到檔案壓縮操作，其使用一些特定的演算法來減小檔案的大小，可以提高傳輸資料時的速率和減少資料在一些儲存機制上占有的空間大小，實現空間利用最大化。比如 如果你想通過郵箱傳送乙個資料夾，你會發現可能行不通，怎麼辦呢，難道將資料夾內的內容乙個個傳送嗎？顯然不用，因為郵箱不支援資料夾這種...

不顯示rar檔案 檔案壓縮及常用格式

日常操作中我們經常使用到檔案壓縮操作，其使用一些特定的演算法來減小檔案的大小，可以提高傳輸資料時的速率和減少資料在一些儲存機制上占有的空間大小，實現空間利用最大化。比如 如果你想通過郵箱傳送乙個資料夾，你會發現可能行不通，怎麼辦呢，難道將資料夾內的內容乙個個傳送嗎？顯然不用，因為郵箱不支援資料夾這種...