主要步驟：
1，安裝和更新gcc、ant(系統已經安裝的話，略去下面步驟)
yum -y install gcc gcc-c++ autoconf automake
wget
tar -jxvf apache-ant-1.8.2-bin.tar.bz2
export ant_home=/usr/local/apache-ant-1.8.2
vi /etc/profile
source /etc/profile
export path=$path:$ant_home/bin
2在各個節點安裝lzo
wget
tar -zxvf lzo-2.04.tar.gzcd lzo-2.04
./configure --enable-shared
make && make install
拷貝/usr/local/lib目錄下的lzo庫檔案到/usr/lib（32位平台），或/usr/lib64（64位平台）
3,安裝lzo編碼/解碼器
wget
tar -zxvf kevinweil-hadoop-lzo-2ad6654.tar.gz
cd kevinweil-hadoop-lzo-2ad6654
ant compile-native tar
安裝編譯過程中有錯誤，請考慮安裝下面兩個rpm包
wget
wget
rpm -ivh lzo-2.04-1.el5.rf.i386.rpm
rpm -ivh lzo-devel-2.04-1.el5.rf.i386.rpm
（根據系統選擇）編譯成功後，拷貝kevinweil-hadoop-lzo-2ad6654/bulid/hadoop-lzo-0.4.14.jar到hadoop/lib下
拷貝build/native/linux-amd64-64/lib下檔案到hadoop/lib/native/linux-amd64-64下
4,修改配置檔案，並同步各節點的配置檔案
core-site.xml中增加
io.compression.codecs
org.apache.hadoop.io.compress.gzipcodec,org.apache.hadoop.io.compress.defaultcodec,com.hadoop.compression.lzo.lzocodec,co
m.hadoop.compression.lzo.lzopcodec,org.apache.hadoop.io.compress.bzip2codec
io.compression.codec.lzo.class
com.hadoop.compression.lzo.lzocodec
mapred-site.xml中增加
mapred.compress.map.output
true
mapred.map.output.compression.codec
com.hadoop.compression.lzo.lzocodec
hadoop的集群安裝
hadoop的集群安裝 1 安裝jdk，解壓jar，配置環境變數 1.1 解壓jar tar zxvf jdk 7u79 linux x64.tar.gz c opt install 將jdk解壓到對應的檔案目錄下 1.2 配置環境變數，sudo vim etc profile 新增下面內容 exp...
Hadoop新增LZO壓縮支援
啟用lzo的壓縮方式對於小規模集群是很有用處，壓縮比率大概能降到原始日誌大小的1 3。同時解壓縮的速度也比較快。3 將編譯好後的hadoop lzo 0.4.20.jar 放入hadoop 2.7.2 share hadoop common root bigdata 01 common pwd ex...
Hadoop集群MYSQL的安裝
前言 有一段時間沒寫文章了，最近事情挺多的，現在咱們回歸正題，經過前面四篇文章的介紹，已經通過vmware安裝了hadoop的集群環境，相關的兩款軟體vsftp和securecrt也已經正常安裝了。本篇主要介紹在大資料應用中比較常用的一款軟體mysql，我相信這款軟體不緊緊在大資料分析的時候會用到，...