1.安裝lzo動態庫到系統 (/usr/local/lib or /usr/lib)
-rw-r--r-- 1 root root 559810 2011-08-03 18:38 liblzo2.a
-rwxr-xr-x 1 root root 918 2011-08-03 18:38 liblzo2.la*
lrwxrwxrwx 1 root root 16 2011-08-03 18:38 liblzo2.so -> liblzo2.so.2.0.0*
lrwxrwxrwx 1 root root 16 2011-08-03 18:38 liblzo2.so.2 -> liblzo2.so.2.0.0*
-rwxr-xr-x 1 root root 379659 2011-08-03 18:38 liblzo2.so.2.0.0*
2.要lzo檔案能splittable,
不用google官方的hadoop-gpl-compression-0.1.0-rc0.tar.gz
用kevinweil-hadoop-lzo-4537f94 ,編譯出hadoop-zlo-version.jar copy到hadoop和hbase 的lib 目錄下,並且把native下的libgplcompression* copy到hadoop和hbase的lib/native 資料夾下
success
hadoop集群lzo的安裝
主要步驟 1,安裝和更新gcc ant 系統已經安裝的話,略去下面步驟 yum y install gcc gcc c autoconf automake wget tar jxvf apache ant 1.8.2 bin.tar.bz2 export ant home usr local apa...
LZO基本介紹與除錯總結
一 lzo介紹 lzo 是乙個用 ansi c 語言編寫的無失真壓縮庫。他能夠提供非常快速的壓縮和解壓功能。解壓並不需要記憶體的支援。即使使用非常大的壓縮比例進行緩慢壓縮出的資料,依然能夠非常快速的解壓。lzo遵循gnu 的gpl 使用許可。lzo 非常適合進行資料的實時壓縮解壓處理,這就是說他更關...
lzo 交叉編譯
lzo 是致力於解壓速度的一種資料壓縮演算法,lzo 是 lempel ziv oberhumer 的縮寫。這個演算法是無損演算法,參考實現程式是執行緒安全的。lzo 庫實現了許多有下述特點的演算法 解壓簡單,速度非常快。解壓不需要記憶體。壓縮相當地快。壓縮需要 64 kb 的記憶體。允許在壓縮部分...