hadoop 2 5 0 cdh5 3 6集群搭建

2021-08-28 08:37:20 字數 1218 閱讀 2418

將hadoop包進行解壓縮

tar -zxvf hadoop-2.5.0-cdh5.3.6.tar.gz
對hadoop目錄進行重新命名

mv hadoop-2.5.0-cdh5.3.6 hadoop
配置hadoop相關環境變數

#配置環境變數

vi ~/.bashrc

#新增hadoop環境變數

export hadoop_home=/usr/local/hadoop

export path=$path:$hadoop_home/bin:$hadoop_home/sbin

#使配置的環境變數生效

source ~/.bashrc

建立/usr/local/data目錄

mkdir /usr/local/data
測試是否配置成功

以下配置檔案在:/usr/local/hadoop/etc/hadoop/目錄下

使用如上sparkproject1上配置hadoop,在另外兩台機器上搭建hadoop。可以使用scp命令將sparkproject1上面的hadoop安裝包和~/.bashrc配置檔案都拷貝到sparkproject2、sparkproject3。

將sparkproject1上的hadoop複製到sparkproject3

按照上面同樣的步驟,同樣的方式將sparkproject1上面的hadoop安裝包和~/.bashrc配置檔案都拷貝到sparkproject3。

測試sparkproject2、sparkproject3是否配置成功

在sparkproject2、sparkproject3分別執行如下命令:

CDH 方式安裝 Hadoop 手記

ubuntu 14.04 cdh5 選用最簡單cloudera manager 自動安裝 採用這個教程 所有節點至少需要10g記憶體 必須要有root使用者,root使用者密碼必須相同 每個節點必須可以連線到 支援的linux系統,請見對於ubuntu,支援12.04,14.04,64位 新手問題1...

CDH 不能監控hadoop狀態

1 背景 公司集群整體搬遷 2 問題 hadoop重啟後,發現乙個非常坑爹的問題。用 hadoop dfsadmin report 檢視datanode狀態完全正常,但是cloudera manager管理介面上顯示嚴重錯誤,如下圖 就是說cloudera manager server不能收集到各個...

Hadoop 2 5 0偽分布集群搭建

先作乙個集群配置規劃,我這裡是模擬三個節點,我這裡已裝好一台了乙個節點 bigdata01,配置過程請參考另一篇文章 computer hardware software ip host name cpu ram hdd hdfs yarn map reduce 192.168.22.150 big...