CM CDH構建企業大資料平台系列(十一)

2021-08-17 15:13:03 字數 1277 閱讀 5107

1、ssh是什麼?為什麼要配置ssh免密碼登入?

ssh是乙個可以在應用程式中提供安全通訊的乙個協議,通過ssh可以安全地進行網路資料傳輸,它的主要原理就是利用非對稱加密體系,對所有待傳輸的資料進行加密,保證資料在傳輸時不被惡意破壞、洩露或者篡改。但是hadoop使用ssh主要不是用來進行資料傳輸的,hadoop主要是在啟動和停止的時候需要主節點通過ssh協議將從節點上面的程序啟動或停止。也就是說如果不配置ssh免密碼登入對hadoop的正常使用也沒有任何影響,只是在啟動和停止hadoop的時候需要輸入每個從節點的使用者名稱的密碼就可以了,但是我們可以想象一下,當集群規模比較大的時候,比如成百上千臺,如果每次都要輸入每個連線節點的密碼,那肯定是比較麻煩的,這種方法肯定是不可取的,所以我們要進行ssh免密碼登入的配置,而且目前遠端管理環境中最常使用的也是ssh(secure shell)。

2、為哪個使用者配置ssh免密碼登入?

這個問題首先要明確,因為ssh免密碼登入的功能是跟使用者密切相關的,你為哪個使用者配置ssh免密碼登入,那麼哪個使用者就具有ssh免密碼登入的功能,沒有配置的使用者則沒有該功能。這裡我們就為root使用者配置。對其他使用者配置的方法是一樣的。

3、如何配置ssh免密碼登入?

(1)首先生成秘鑰對(即乙個私鑰檔案,乙個公鑰檔案)。所有節點都進行同樣的操作。

即輸入命令:ssh-keygen -t rsa

其中ssh-keygen是ssh秘鑰生成器,-t是指定引數,rsa是一種加密演算法。

(2)把所有節點的公鑰cp到authorized_keys檔案中,注意是新增而不是覆蓋

即輸入命令:cat ~/.ssh/id_rsa.pub | ssh [email protected] 'cat >> ~/.ssh/authorized_keys'

注意:在3個節點都進行上邊的命令。

然後在cm01節點上檢視authorized_keys是否有3個節點的公鑰。

(3)然後把該認證檔案複製到各個節點

即輸入命令:cp authorized_keys [email protected]:~/.ssh/

cp authorized_keys [email protected]:~ /.ssh/

在各個節點檢視一下,保證每個節點都有集群中所有節點的公鑰。每個節點有自己的私鑰,當公鑰和私鑰對上就可以連線成功。

(4)驗證ssh免密碼登入

通過「ssh 主機名」的方式實現集群中各個節點不用輸入密碼即可連線成功即可。

注意:第一次連線時需要輸入yes的,連線成功之後,以後再次連線就不用輸入yes,也不用輸入密碼,真正實現ssh免密碼登入了。

CM CDH構建企業大資料平台系列(十)

1 防火牆是幹什麼的?為什麼要關閉防火牆?防火牆是對我們的伺服器進行的一種保護,但是有時候也會妨礙集群間的相互通訊,所以我們需要關閉防火牆。2 怎麼關閉防火牆?常見的兩種方法 1 臨時性關閉 開啟 即輸入service iptables stop start 如果要在防火牆中設定某些埠的開關,可以修...

CM CDH構建企業大資料平台系列(十五)

一 什麼叫構建本地yum源?構建本地yum源又叫部署本地庫,實際上就是安裝乙個映象伺服器 映象伺服器 mirror server 與主伺服器的服務內容都是一樣的,只是放在不同的地方,分擔主機的負載。簡單來說就是和照鏡子似的,能看,但不是原版的。在網上內容完全相同而且同步更新的兩個或多個伺服器,除主伺...

企業大資料平台倉庫架構建設思路

實習過後需要學習一下才更有體會 問題 資料 式地增長,各種結構化 半結構化 非結構化資料的產生,越來越多的企業開始在大資料平台下進行資料處理。結構簡單,便於事實資料分析,適合業務分析報表和bi 結構較複雜,但它便於主體資料打通,適合複雜資料內容的深度挖掘。每個企業在構建自己數倉時,應該根據業務形態和...