編譯hadoop支援snappy壓縮

2021-07-26 16:40:02 字數 833 閱讀 3804

kylin

在build cube

時出現hadoop

不支援壓縮的問題,原因是

hadoop

的二進位制安裝包中沒有

支援,需要手工重新編譯。

編譯過程:

1. 安裝包列表

protobuf-2.5.0.tar.gz

hadoop-2.6.4-src.tar.gz

2. 編譯安裝

3. 編譯安裝

protobuf

tar -zxvf protobuf-2.5.0.tar.gz

cd protobuf-2.5.0/

./autogen.sh

./configure 

make 

sudo make install

# 檢視

protobuf

版本以測試是否安裝成功

protoc –version

4. 安裝依賴

sudo yum install autoconf automake libtool cmake

sudo yum install ncurses-devel

sudo yum install openssl-devel

sudo yum install gcc*

5. 編譯

hadoop native

tar -zxvf hadoop-2.6.4-src.tar.gz

執行成功後,進入到

hadoop-dist/target/

目錄下hadoop-2.6.4.tar.gz

檔案即為新生成的二進位制安裝包。

Hadoop新增LZO壓縮支援

啟用lzo的壓縮方式對於小規模集群是很有用處,壓縮比率大概能降到原始日誌大小的1 3。同時解壓縮的速度也比較快。3 將編譯好後的hadoop lzo 0.4.20.jar 放入hadoop 2.7.2 share hadoop common root bigdata 01 common pwd ex...

hadoop 編譯eclipse 外掛程式

使用eclipse開發hadoop專案時,可以使用hadoop eclipse外掛程式,提高效率,下面來介紹下步驟 步驟 操作 1 進入 root hadoop 1.2.0 src contrib eclipse plugin下面,修改build.xml 2 進入 root hadoop 1.2.0...

ffmpeg編譯支援cuda編譯碼

今天在ffmpeg4.1下成功編譯出支援cuda編碼的版本,記錄一下編譯過程。編譯增加選項 enable cuda enable cuvid enable nvenc 如果遇到提示錯誤 error cuda requested,but not all dependencies are satisfi...