壓縮格式
壓縮格式
演算法副檔名
切分換成壓縮格式後，原來的程式是否要修改
deflate
是,直接使用
deflate
.default
否和文字處理一樣,不需要修改
gzip
是,直接使用
deflate
.gz否
和文字處理一樣,不需要修改
bzip2
是，直接使用
bzip2
.bz2
是和文字處理一樣,不需要修改
lzo否，需要安裝
lzo.lzo
是要建索引和指定輸入格式
否，需要安裝
否和文字處理一樣,不需要修改
壓縮格式
對應的編碼/解碼器
default
org.apache.hadoop.io.compress.defaultcodec
gzip
org.apache.hadoop.io.compress.gzipcodec
bizp2
org.apache.hadoop.io.compress.bzip2codec
lzocom.hadoop.compression.lzo.lzocodec
//開啟map輸出端壓縮
conf.setboolean("mapreduce,map.output.compress",true);
//設定壓縮方式
conf.setclass("mapreduce.map.output.compress.codec", bzip2codec.class, compressioncodec.class);
//開啟reduce端壓縮
fileoutputformat.setcompressoutput(job,true);
//設定壓縮方式
fileoutputformat.setoutputcompressorclass(job,bzip2codec.class);
ASIHTTPRequest 資料壓縮
從0.9版本開始，asihttprequest會提示伺服器它可以接收gzip壓縮過的資料。apache 2.x以上版本已經配備了mod deflate擴充套件，這使得apache可以透明地壓縮特定種類的資料。要開啟這個特性，你需要在apache的配置檔案中啟用mod deflate。並將mod de...
ASIHTTPRequest 資料壓縮
從0.9版本開始，asihttprequest會提示伺服器它可以接收gzip壓縮過的資料。apache 2.x以上版本已經配備了mod deflate擴充套件，這使得apache可以透明地壓縮特定種類的資料。要開啟這個特性，你需要在apache的配置檔案中啟用mod deflate。並將mod de...
ASIHTTPRequest 資料壓縮
從0.9版本開始，asihttprequest會提示伺服器它可以接收gzip壓縮過的資料。apache 2.x以上版本已經配備了mod deflate擴充套件，這使得apache可以透明地壓縮特定種類的資料。要開啟這個特性，你需要在apache的配置檔案中啟用mod deflate。並將mod de...