啟用lzo的壓縮方式對於小規模集群是很有用處，壓縮比率大概能降到原始日誌大小的1/3。同時解壓縮的速度也比較快。
3）將編譯好後的hadoop-lzo-0.4.20.jar 放入hadoop-2.7.2/share/hadoop/common/
[root@bigdata-01 common]$ pwd/export/servers/hadoop-2.7.4/share/hadoop/common
[root@bigdata-01 common]$ ls
hadoop-lzo-0.4.20.jar
4）scp同步hadoop-lzo-0.4.20.jar到其他節點
1）core-site.xml增加配置支援lzo壓縮
<?xml version="1.0" encoding="utf-8"
?>
<?
xml-stylesheet type="text/xsl" href="configuration.xsl"
?>
<
configuration
>
<
property
>
<
name
>io.compression.codecs
name
>
<
value
>
org.apache.hadoop.io.compress.gzipcodec,
org.apache.hadoop.io.compress.defaultcodec,
org.apache.hadoop.io.compress.bzip2codec,
com.hadoop.compression.lzo.lzocodec,
com.hadoop.compression.lzo.lzopcodec
value
>
property
>
<
property
>
<
name
>io.compression.codec.lzo.class
name
>
<
value
>com.hadoop.compression.lzo.lzocodec
value
>
property
>
configuration
>
2）scp同步core-site.xml到其他節點
1）啟動hive建立lzo表
create table lzo_test (id string,
name string
)partitioned by (
dt string
)row format delimited
fields terminated by '\t'
stored as inputformat "com.hadoop.mapred.deprecatedlzotextinputformat"
outputformat "org.apache.hadoop.hive.ql.io.hiveignorekeytextoutputformat";
2）匯入資料
load data inpath '/***/***/2019-07-25' into table lzo_test partition(dt='2019-07-25');
hadoop支援Lzo壓縮配置及案例
hadoop支援lzo壓縮配置 1 hadoop本身並不支援lzo壓縮，故需要使用twitter提供的hadoop lzo開源元件。hadoop lzo需依賴hadoop和lzo進行編譯，編譯步驟如下。2 將編譯好後的hadoop lzo 0.4.20.jar 放入hadoop 2.7.2 shar...
專案經驗之支援LZO壓縮配置
1.將編譯好後的hadoop lzo 0.4.20.jar 放入hadoop 3.1.3 share hadoop common 2.同步hadoop lzo 0.4.20.jar到hadoop103 hadoop104 3.core site.xml增加配置支援lzo壓縮 io.compressi...
編譯hadoop支援snappy壓縮
kylin 在build cube 時出現hadoop 不支援壓縮的問題，原因是 hadoop 的二進位制安裝包中沒有 支援，需要手工重新編譯。編譯過程 1.安裝包列表 protobuf 2.5.0.tar.gz hadoop 2.6.4 src.tar.gz 2.編譯安裝 3.編譯安裝 proto...