比如我在host1上把hadoop和hbase配置什麼的搞好,打成tar包,執行以下指令碼,即可在cluster公升級。
我的cluster中有host1,host2,host3,host4,host5,host6,host21,host24,host0,hostut。注意這些host之間用使用者hbase都可免密碼ssh訪問。
hbase和hadoop都會被安裝在/development下
hadoop=hadoop-0.20.2
hbase=hbase-tm-2#45
hostlist=』234
562124
0ut』
for i in $hostlist; do
echo sending archive to host$i…
scp $hadoop.tar $hbase.tar hbase@host$i:/development
done
for i in $hostlist; do
echo host$i extracting and ****** symbolic link…
ssh hbase@host$i 「cd /development; rm hbase; rm hadoop;rm -rf $hadoop;rm -rf $hbase; tar -xf $hadoop.tar; tar -xf $hbase.tar; ln -s -f $hbase hbase; ln -s -f $hadoop hadoop」
done
for i in $hostlist; do
echo host$i 『add excuting right on hbase/bin/* and hadoop/bin/*』
ssh hbase@host$i 『cd /development/hbase/bin; chmod +x *; cd /development/hadoop/bin; chmod +x *』
done
指令碼說明:
指令碼的最上端是定義hadoop和hbase的版本
再下來是host列表
接著就是傳送檔案,解壓,建立軟連線,新增bin目錄下的檔案的執行許可權
Hadoop快速入門( Hadoop簡介)
hadoop 核心元件 hadoop 包含以下模組 hadoop common 常見實用工具,用來支援其他 hadoop 模組。hadoop distributed file system hdfs 分布式檔案系統,它提供對應用程式資料的高吞吐量訪問。hadoop yarn 乙個作業排程和集群資源管...
hadoop快速入門
大資料核心含義是一種技術革新 隨著網際網路時代的深入,產生了越來越多的資料,比如 1 電商產生的大量使用者瀏覽 購物行為 2 移動運營商記錄了大量的使用者上網行為 3 網路輿情分析 營銷支撐 4 金融系統徵信分析 上述的這些需求,用以前的傳統技術無法勝任,需要有乙個全新的技術體系來支撐 在此背景之下...
Hadoop 快速入門
1.1 什麼是hadoop 1 hadoop是apache旗下一套開源軟體平台。2 hadoop提供的功能 利用伺服器集群,根據使用者的自定義業務邏輯,對海量資料進行分布式處理。3 hadoop的核心元件有 a common 基礎元件 b hdfs 分布式檔案系統 c yarn 運算支援排程系統 d...