1.
環境描述:
虛擬機器10,centos6.4,偽分布式安裝hadoop。
2. 問題描述:
出現datanode無法啟動。
3.錯誤一:指定的檔案目錄許可權不符 檢視
datanode
啟動日誌
cat/home/hadoop/hadoop-0.20.203.0/logs/hadoop-hadoop-datanode-hadoop.log
檢視日誌發現
這是因為配置檔案中
dfs.data.dir
指定的檔案目錄許可權不符。系統期望是
755,而實際是
775.
解決方案:將
dfs.data.dir
的指定的檔案目錄許可權改為所期望的的值,即
755.
4.錯誤二:多次格式化導致
id不一致
解決方案:將配置檔案中dfs.data.dir在本地系統的路徑下的current/version檔案中的namespaceid改為與dfs.name.dir在本地系統的路徑下的current/version檔案中的namespaceid一樣,例如:
dfs.data.dir
為/home/hadoop/hadoop-0.20.203.0/data
dfs.name.dir
為/home/hadoop/hadoop-0.20.203.0/name
開啟:/home/hadoop/hadoop-0.20.203.0/data/current/version
#thu mar 12 08:52:59 cst 2015
namespaceid=632896805
storageid=ds-605670807-192.168.18.125-50010-1426121579156
ctime=0
storagetype=data_node
layoutversion=-31
開啟:/home/hadoop/hadoop-0.20.203.0/name/current/version
#thu mar 12 09:37:15 cst 2015
namespaceid=1105987439
ctime=0
storagetype=name_node
layoutversion=-31
將其修改為:
#thu mar 12 09:37:15 cst 2015
namespaceid=632896805
ctime=0
storagetype=name_node
layoutversion=-31
4.然後從新重新執行
jps
2269 jobtracker
2203 secondarynamenode
2163 datanode
2439 jps
2376 tasktracker
1996 namenode
Hadoop入門 初識DataNode
hdfs架構 namenode datanode secondary namenode datanode 提供真實的檔案資料儲存服務 檔案塊 block 檔案塊是最基本的儲存單位,在datanode中,檔案被分為檔案塊,預設為三個,hdfs預設乙個block大小是128m,通過dfs.block.s...
Hadoop無法啟動DataNode
問題詳述 當我多次通過以下指令格式化namenode之後,格式化namenode bin hdfs namenode format導致我在jps查詢時發現datanode無法啟動 問題原因 多次進行namenode格式化,導致 namenode 和 datanode 的集群 id 不匹配 datan...
hadoop的datanode無法啟動
這一周在centos裡安裝了偽分布式的hadoop做測試,但沒想到的是按網上的步驟配置後datanode節點怎麼也沒辦法啟動。後來通過分析啟動日誌後發現fs.data.dir引數設定的目錄許可權必需為755,要不啟動datanode節點啟動就會因為許可權檢測錯誤而自動關閉。提示資訊如下 arn or...