目錄
一、集群ssh無秘鑰登入
二、集群時間同步
1.時間伺服器配置
2.從節點伺服器配置
場景:試想集群裡面的機器特別多的時候,一台一台的機器去啟動hdfs和yarn的服務是特別費勁的。能否有辦法在主節點能啟動所有主節點和從節點的服務,而不需要通過sbin/hadoop-daemon.sh等類似命令去一台臺的去啟動和停止服務,本小節給你答案。
注意:如果hdfs和yarn的主節點不在同一臺機器上,需要在hdfs的主節點機器和yarn的主節點機器各自生成公鑰和秘鑰,然後分發到節點機器。
ssh-keygen -t rsa
# 格式:ssh-copy-id ssh-copy-id bigdata.centos01
ssh-copy-id bigdata.centos02
ssh-copy-id bigdata.centos03
# 在centos01上無秘鑰登入centos02
ssh bigdata.centos02
# 在主節點機器(centos01)上執行,停止主節點namenode和從節點datanode
sbin/stop-dfs.sh
測試結果如下:
選取集群內一台機器作為時間伺服器,其他機器定時去和時間伺服器同步。此處選取centos01作為時間伺服器。
# 檢視ntp服務狀態
sudo service ntpd status
# 開啟ntp服務
sudo service ntpd start
# 設定ntp服務開機自啟
chkconfig ntpd on
vi /etc/ntp.conf
# 主要做如下修改
## 1、開啟注釋,修改網段,允許網段內的伺服器從本機同步時間
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
## 2、注釋掉從外網同步時間
server 0.centos.pool.ntp.org
server 1.centos.pool.ntp.org
server 2.centos.pool.ntp.org
## 3、開啟注釋,外部時間不可用時,以本地時間作為時間服務
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10
#修改完配置檔案,ntp服務重啟
sudo service ntpd restart
date -s "2019-08-17 15:30:00"
# 編輯crontab檔案
crontab -e
# 增加如下命令,每10分鐘去同步一次
*/10 * * * * /usr/sbin/ntpdate bigdata.centos01
linux無秘鑰登入
yum install expect y 2 保持互動的expect編寫 vi expect.sh bin expect spawn ssh 使用者名稱 ip 讓expect處理該會話,執行spawn之後,之後遇到的互動內容都由expect繼續 下面是提前輸入了可能會遇到的互動的內容以及相應的應答方...
hadoopSSH無密碼登入
對於需要遠端管理其它機器,一般使用遠端桌面或者telnet。linux一般只能是telnet。但是telnet的缺點是通訊不加密,存在不安全因素,只適合內網訪問。為 解決這個問題,推出了通訊加密通訊協議,即ssh secure shell 使用非對稱加密方式,傳輸內容使用rsa或者dsa加密,可以避...
centos 6 5 SSH 無秘鑰登入
網路拓撲 計算機名稱 ip位址 角色 master 192.168.35.22 master server compute1 192.168.52.105 compute1 compute2 192.168.189.30 compute2 防火牆設定 1.集群節點執行命令 service iptab...