kylin
在build cube
時出現hadoop
不支援壓縮的問題,原因是
hadoop
的二進位制安裝包中沒有
支援,需要手工重新編譯。
編譯過程:
1. 安裝包列表
protobuf-2.5.0.tar.gz
hadoop-2.6.4-src.tar.gz
2. 編譯安裝
3. 編譯安裝
protobuf
tar -zxvf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0/
./autogen.sh
./configure
make
sudo make install
# 檢視
protobuf
版本以測試是否安裝成功
protoc –version
4. 安裝依賴
sudo yum install autoconf automake libtool cmake
sudo yum install ncurses-devel
sudo yum install openssl-devel
sudo yum install gcc*
5. 編譯
hadoop native
tar -zxvf hadoop-2.6.4-src.tar.gz
執行成功後,進入到
hadoop-dist/target/
目錄下hadoop-2.6.4.tar.gz
檔案即為新生成的二進位制安裝包。
Hadoop新增LZO壓縮支援
啟用lzo的壓縮方式對於小規模集群是很有用處,壓縮比率大概能降到原始日誌大小的1 3。同時解壓縮的速度也比較快。3 將編譯好後的hadoop lzo 0.4.20.jar 放入hadoop 2.7.2 share hadoop common root bigdata 01 common pwd ex...
hadoop 編譯eclipse 外掛程式
使用eclipse開發hadoop專案時,可以使用hadoop eclipse外掛程式,提高效率,下面來介紹下步驟 步驟 操作 1 進入 root hadoop 1.2.0 src contrib eclipse plugin下面,修改build.xml 2 進入 root hadoop 1.2.0...
ffmpeg編譯支援cuda編譯碼
今天在ffmpeg4.1下成功編譯出支援cuda編碼的版本,記錄一下編譯過程。編譯增加選項 enable cuda enable cuvid enable nvenc 如果遇到提示錯誤 error cuda requested,but not all dependencies are satisfi...