Hadoop ssh無秘鑰登入和集群時間同步

2021-09-26 06:03:57 字數 1666 閱讀 1321

目錄

一、集群ssh無秘鑰登入

二、集群時間同步

1.時間伺服器配置

2.從節點伺服器配置

場景:試想集群裡面的機器特別多的時候,一台一台的機器去啟動hdfs和yarn的服務是特別費勁的。能否有辦法在主節點能啟動所有主節點和從節點的服務,而不需要通過sbin/hadoop-daemon.sh等類似命令去一台臺的去啟動和停止服務,本小節給你答案。

注意:如果hdfs和yarn的主節點不在同一臺機器上,需要在hdfs的主節點機器和yarn的主節點機器各自生成公鑰和秘鑰,然後分發到節點機器。

ssh-keygen -t rsa
# 格式:ssh-copy-id ssh-copy-id bigdata.centos01

ssh-copy-id bigdata.centos02

ssh-copy-id bigdata.centos03

# 在centos01上無秘鑰登入centos02

ssh bigdata.centos02

# 在主節點機器(centos01)上執行,停止主節點namenode和從節點datanode

sbin/stop-dfs.sh

測試結果如下:

選取集群內一台機器作為時間伺服器,其他機器定時去和時間伺服器同步。此處選取centos01作為時間伺服器。

# 檢視ntp服務狀態

sudo service ntpd status

# 開啟ntp服務

sudo service ntpd start

# 設定ntp服務開機自啟

chkconfig ntpd on

vi /etc/ntp.conf

# 主要做如下修改

## 1、開啟注釋,修改網段,允許網段內的伺服器從本機同步時間

restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

## 2、注釋掉從外網同步時間

server 0.centos.pool.ntp.org

server 1.centos.pool.ntp.org

server 2.centos.pool.ntp.org

## 3、開啟注釋,外部時間不可用時,以本地時間作為時間服務

server 127.127.1.0 # local clock

fudge 127.127.1.0 stratum 10

#修改完配置檔案,ntp服務重啟

sudo service ntpd restart

date -s "2019-08-17 15:30:00"
# 編輯crontab檔案

crontab -e

# 增加如下命令,每10分鐘去同步一次

*/10 * * * * /usr/sbin/ntpdate bigdata.centos01

linux無秘鑰登入

yum install expect y 2 保持互動的expect編寫 vi expect.sh bin expect spawn ssh 使用者名稱 ip 讓expect處理該會話,執行spawn之後,之後遇到的互動內容都由expect繼續 下面是提前輸入了可能會遇到的互動的內容以及相應的應答方...

hadoopSSH無密碼登入

對於需要遠端管理其它機器,一般使用遠端桌面或者telnet。linux一般只能是telnet。但是telnet的缺點是通訊不加密,存在不安全因素,只適合內網訪問。為 解決這個問題,推出了通訊加密通訊協議,即ssh secure shell 使用非對稱加密方式,傳輸內容使用rsa或者dsa加密,可以避...

centos 6 5 SSH 無秘鑰登入

網路拓撲 計算機名稱 ip位址 角色 master 192.168.35.22 master server compute1 192.168.52.105 compute1 compute2 192.168.189.30 compute2 防火牆設定 1.集群節點執行命令 service iptab...