快速公升級Hadoop和HBase的小指令碼

2021-08-25 07:58:04 字數 1061 閱讀 6213

比如我在host1上把hadoop和hbase配置什麼的搞好,打成tar包,執行以下指令碼,即可在cluster公升級。

我的cluster中有host1,host2,host3,host4,host5,host6,host21,host24,host0,hostut。注意這些host之間用使用者hbase都可免密碼ssh訪問。

hbase和hadoop都會被安裝在/development下

hadoop=hadoop-0.20.2

hbase=hbase-tm-2#45

hostlist=』234

562124

0ut』

for i in $hostlist; do

echo sending archive to host$i…

scp $hadoop.tar  $hbase.tar hbase@host$i:/development

done

for i in $hostlist; do

echo host$i extracting and ****** symbolic link…

ssh hbase@host$i 「cd /development; rm hbase; rm hadoop;rm -rf $hadoop;rm -rf $hbase; tar -xf $hadoop.tar; tar -xf $hbase.tar; ln -s -f $hbase hbase; ln -s -f $hadoop hadoop」

done

for i in $hostlist; do

echo host$i 『add excuting right on hbase/bin/* and hadoop/bin/*』

ssh hbase@host$i 『cd /development/hbase/bin; chmod +x *; cd /development/hadoop/bin; chmod +x *』

done

指令碼說明:

指令碼的最上端是定義hadoop和hbase的版本

再下來是host列表

接著就是傳送檔案,解壓,建立軟連線,新增bin目錄下的檔案的執行許可權

Hadoop快速入門( Hadoop簡介)

hadoop 核心元件 hadoop 包含以下模組 hadoop common 常見實用工具,用來支援其他 hadoop 模組。hadoop distributed file system hdfs 分布式檔案系統,它提供對應用程式資料的高吞吐量訪問。hadoop yarn 乙個作業排程和集群資源管...

hadoop快速入門

大資料核心含義是一種技術革新 隨著網際網路時代的深入,產生了越來越多的資料,比如 1 電商產生的大量使用者瀏覽 購物行為 2 移動運營商記錄了大量的使用者上網行為 3 網路輿情分析 營銷支撐 4 金融系統徵信分析 上述的這些需求,用以前的傳統技術無法勝任,需要有乙個全新的技術體系來支撐 在此背景之下...

Hadoop 快速入門

1.1 什麼是hadoop 1 hadoop是apache旗下一套開源軟體平台。2 hadoop提供的功能 利用伺服器集群,根據使用者的自定義業務邏輯,對海量資料進行分布式處理。3 hadoop的核心元件有 a common 基礎元件 b hdfs 分布式檔案系統 c yarn 運算支援排程系統 d...