Hadoop配置檔案同步指令碼

同步hadoop的配置檔案，總是scp，這很麻煩，現在寫了乙個同步指令碼；

這個指令碼會先備份遠端伺服器的配置檔案，然後再同步；

如果同步的次數多了，可以按照日誌刪除配置檔案比如：

find . -name '*20150604*' | xargs rm -f

指令碼內容如下：

#!/bin/bash

##用於同步配置檔案

##配置檔案路徑

hadoop_etc=/home/hadoop/hadoop-2.7.0/etc/hadoop

##需要同步的檔案

etc_files="core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml mapred-env.sh hadoop-env.sh"

##需要同步的主機(如果沒有hosts的主機名對映，可以填ip)

hosts="hadoop202 hadoop203"

op_date=$(date +%y%m%d_%h%m%s)

echo "配置檔案開始同步"

Hadoop配置檔案彙總

共8個配置檔案 namenode位址，hadoop執行產生檔案儲存位址 core cite.xml 設定後本地模式不可用，因為namenode位址修改為hdfs了，預設是file fs.defaultfs hdfs localhost102 9000 hadoop.tmp.dir opt modul...

Hadoop 配置檔案簡介

1 core site.xml檔案 這是乙個描述集群中namenode結點的uri 統一資源識別符號 包括協議，主機名稱，埠號 集群裡面的每一台機器都需要知道 namenode的位址。datanode結點會先在namenode上註冊，這樣它們的資料才可以被利用。獨立的客戶端程式通過這個uri跟 da...

hadoop集群配置檔案

配置檔案與功能對應 修改core site.xml檔案 fs.defaultfs hdfs hadoop01 8020 在哪一台配，namenode就在哪一台啟動 io.file.buffer.size 4096 hadoop.tmp.dir home hadoop hadoop 2.6.0 had...