解決hadoop在配置集群中出現的問題

2021-08-20 04:29:56 字數 681 閱讀 2914

1、解壓檔案命令

tar -zxvf 檔名.tar.gz

2、ssh

ssh應該算是乙個最讓人頭疼的問題,它預先安裝的ssh服務,是用不了的,因此需要用到解除安裝命令將其解除安裝。

sudo apt-get remove ssh

重新安裝ssh服務。

sudo apt-get install ssh

生成公鑰以便集群中其他使用者進入時不需要再輸入密碼(其中p是大寫,後面跟兩個單引)

ssh-keygen -t rsa -p 『』 -f ~/.ssh/id_rsa

cat id_rsa.pub >> ~/.ssh/authorized_keys

3、遠端複製命令(scp)

scp 檔案 使用者組名@使用者名稱:/檔案的位址

列如:scp /etc/hosts ubuntu@hadoop:/etc

如果不能實現遠端複製命令,則是你的公鑰沒有配置或者你的hosts檔案有誤,需先修改hosts檔案,在遠端拷貝公鑰分發的集群中每個使用者,然後在拷貝你想要的複製給其他使用者的東西。

Hadoop集群配置

hadoop的配置檔案分為兩類 1.唯讀型別的預設檔案 src core core default.xml src hdfs hfds default.xml src mapred mapred default.xml conf mapred queues.xml 2.定位設定 conf core ...

hadoop集群配置

建立目錄 修改 home hadoop hadoop 2.7.1 etc hadoop下的配置檔案 把配置好的hadoop傳送到從節點 如果沒有目錄,請新建,沒有jdk,請提前裝,路徑和master保持一致 scp r home hadoop hadoop 2.7.1 root centos02 h...

Hadoop 集群配置

重要目錄介紹 2 etc目錄 hadoop的配置檔案目錄,存放hadoop的配置檔案 3 lib目錄 存放hadoop的本地庫 對資料進行壓縮解壓縮功能 5 share目錄 存放hadoop的依賴jar包 文件 和官方案例 hadoop執行模式包括 本地模式 偽分布式模式以及完全分布式模式。本地模式...