二 hdfs單節點安裝

2022-03-14 06:25:33 字數 2105 閱讀 2753

在配置hdfs之前，我們需要先安裝好hadoop的配置，本文主要講述hdfs單節點的安裝配置。

hadoop的單節點安裝配置請參考：

hadoop安裝準備好之後，我們需要對其中的兩個檔案進行配置

1、core-site.xml

這裡配置了乙個hdfs的namenode節點，以及檔案儲存位置

<


configuration


>


<


property


>


<


name


>fs.defaultfs


name


>


<


value


>hdfs://localhost:9000


value


>


property


>


<


property


>


<


name


>hadoop.tmp.dir


name


>


<


value


>/opt/hadoop-2.9.0


value


>


property


>


configuration


>
2、hdfs-site.xml

由於我們是單節點，所以複製資料塊配置為1即可（replication是通過複製資料塊用備份的方式來做到資料容錯的）

<


configuration


>


<


property


>


<


name


>dfs.replication


name


>


<


value


>1


value


>


property


>


configuration


>
為了方便，我們最好設定一下ssh免密碼，不然每次都要輸入密碼才可以進入下一步，很麻煩。

先看看你的系統支不支援ssh免密碼

ssh localhost
如果不支援，按順序執行下面三行命令即可

$ ssh-keygen -t rsa -p '' -f ~/.ssh/id_rsa


$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys


$ chmod 0600 ~/.ssh/authorized_keys
初次使用hdfs需要進行格式化

hdfs namenode -format
格式化完成以後，我們就可以啟動hdfs了

sbin/start-dfs.sh
啟動完成，我們檢視一下hdfs程序

ps -ef|grep hdfs
你會看到:namenode\datanode\secondarynamenode這三個程序，則表示啟動成功，否則到logs下的對應日誌中檢視錯誤資訊。

注意：期間如果你看到如下錯誤

incompatible clusterids in /opt/hadoop-2.9.0/dfs/data
這個是由於你配置的hadoop.tmp.dir可能被格式化過有不相容的東西，所以你如果要重新格式化可以選擇目錄下的檔案全部刪除掉（前提是沒有重要檔案）

我們可以通過http來檢視hdfs，為了方便檢視你可以關閉防火牆

檢視防火牆狀態

systemctl status firewalld
關閉防火牆

然後宿主機可以通過http訪問，ip修改為你的虛擬機器ip

你會看到

				
Redis單節點安裝
yum y install gcc tcl tar xf redis 2.8.18.tar.gz 3.編譯 建立目錄 拷貝 make make prefix opt sxt redis install 4.配置環境變數 export redis home opt sxt redis 5.配置環境變數...

				
redis單節點安裝
二 開啟master主節點，先拍快照 wget o etc yum.repos.d centos base.repo 2 生成快取 三 安裝redis 1 安裝依賴 2 上傳壓縮包並解壓 tar xvf redis 3.0.0.tar.gz a 先到存放安裝包的地方 b 通過xftp上傳壓縮包 c ...

				
HDFS 節點功能
hdfs中三種節點的功能 一 namenode nn namenode主要功能 接受客戶端的讀寫服務 namenode儲存元資料 metadata 資訊，主要包括 1 檔案擁有者和許可權 2 檔案包含哪些塊 3 每個塊儲存在哪個datanode上 由datanode啟動時上報 解釋 每個塊儲存在哪個...