Hive常見的壓縮格式

2021-10-13 23:15:49 字數 649 閱讀 7257



>


>


io.compression.codecsname


>


>


org.apache.hadoop.io.compress.gzipcodec,org.apache.hadoop.io.compress.defaultcodec,com.hadoop.compression.lzo.lzocodec,com.hadoop.compression.lzo.lzopcodec,org.apache.hadoop.io.compress.bzip2codec


value


>


property


>
常見的壓縮格式有：

而且使用本地庫native libraries提供的壓縮方式，效能上會有50%左右的提公升。

使用命令可以檢視native libraries的載入情況：

hadoop checknative -a
完成對hive表的壓縮，有兩種方式：配置mapreduce壓縮、開啟hive表壓縮功能。因為hive會將sql作業轉換為mapreduce任務，所以直接對mapreduce進行壓縮配置，可以達到壓縮目的；當然為了方便起見，hive中的特定表支援壓縮屬性，自動完成壓縮的功能。

Hive 壓縮格式

常見壓縮格式 壓縮方式 壓縮比壓縮速度 解壓縮速度 是否可分割 gzip 13.4 21 mb s 118 mb s 否bzip2 13.2 2.4mb s 9.5mb s 是lzo 20.5 135 mb s 410 mb s 是22.2 172 mb s 409 mb s 否壓縮格式對應的編 解...

常見的壓縮格式

減少儲存磁碟空間 降低io 網路的io和磁碟的io 加快資料在磁碟和網路中的傳輸速度，從而提高系統的處理速度 由於使用資料時，需要先將資料解壓，加重cpu負荷 需要安裝 linux系統下沒有對應的命令d.bzip2 壓縮格式 優點缺點 gzip 壓縮比在四種壓縮方式中較高 hadoop本身支援，在應...

常見壓縮格式

缺點 壓縮格式 工具演算法 副檔名 是否可切分 對應的編碼 解碼器 org.apache.hadoop.io.compress.default 無default delete 否defaultcodec gzip gzip default gz否 gzipcodec bzip2 bzip2 bzip...