hadoop入門二（偽分布式環境搭建）

1.配置乙個節點的hdfs系統

vi etc/hadoop/core-site

.xml

fs.defaultfsname>

hdfs:>
property>

$ mkdir data

$ cd data
$ mkdir tmp

hadoop.tmp.dirname>

/opt/modules/hadoop-2.7.3/data/tempvalue>
property>

一般情況下，我們都是會有三個拷貝，這裡為了節約資源，指定乙個

vi etc/hadoop/hdfs-site.xml

dfs.replicationname>
1value>
property>

$ ssh-keygen -t rsa -p

'' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

$ bin/hdfs namenode -format

sbin/start-dfs.sh

jps

這裡談一下我涉及到的坑：

hadoop啟動時 datanode namenode啟動失敗

這個解決思路是對的，但是嘗試了一下沒有成功。

和上面的提示一樣：

如果提示 資料夾沒有 說明你沒有格式話hdfs

如果是這種提示 就和參考部落格中的是一樣的了。

如果你的啟動不成功，請參考：

首先 檢視是否有拼寫錯誤

在配置好臨時目錄以後 要啟動hdfs格式化命令

如果目錄許可權不夠 請給你的使用者新增許可權

注意，重新啟動hdfs的時候，要先執行關閉命令

最後，配置偽分布式還是比較簡單的，如果實在不行，就直接重新刪除相關目錄，在重新配置一下。有時候可以嘗試重新啟動一下機器。

這是後來看到的搭建的偽分布式的 看一下注意事項就好了

搭建hadoop偽分布式 的注意事項

hadoop入門 偽分布式詳解

1.首先開啟ssh ssh localhost 2.若是初次啟動hadoop，首先需要格式化namenode，命令如下 bin hadoop namenode format 3.啟動hadoop守護程序，包括namenode,secondarynamenode，datanode,jobtracker...

hadoop偽分布式

首先是本機模式的搭建，如 1 hdfs dfs ls 檢視本地分布式檔案系統，查詢結果為你本機linux檔案系統，說明你的本地模式已經搭建成功 2 進入安裝目錄hadoop資料夾下，進入etc hadoop下對四個配置檔案進行配置 core site.xml hdfs site.xml mapred...

hadoop偽分布式

一 安裝jdk 2 配置環境變數 配置成功 二 ssh免密碼登入 三 hadoop偽分布式配置 2 解壓 3 修改配置檔案 修改為jdk安裝位置 hadoop.tmp.dir file swy bigdata hadoop tmp abase for other temporary director...