相關**:
問題描述:32位的hadoop,安裝在了64位的linux系統上。lib包編譯環境不一樣,所以不能使用。
問題解決: 經檢視ubuntu為32位,忽略上述解釋,但是lib包可能需要手工編譯,待解決。2
.hadoop:could only be replicated to 0 nodes, instead of 1
相關**:主要)
問題描述:jps檢視結果
root@finds-virtual-machine:/usr/local/hadoop# jps
11463
(空白是怎麼回事)(沒有datanode)
16103 secondarynamenode
16472 nodemanager
15643 namenode
16267 resourcemanager
18059 jps
執行wordcount例項之前執行上傳檔案的命令:
[root@localhost hadoop-0.20.0]# bin/hadoop fs -put input in 此命令不會成功,提示上述錯誤。
問題解決:從日誌中可以看出,原因是因為datanode的clusterid 和 namenode的clusterid 不匹配。
開啟hdfs-site.xml裡配置的datanode和namenode對應的目錄,分別開啟current資料夾裡的version,可以看到clusterid項正如日 志裡記錄的一樣,確實不一致,
修改datanode裡version檔案的clusterid 與namenode裡的一致
,再重新啟動dfs(執行start- dfs.sh)再執行jps命令可以看到datanode已正常啟動。(這個問題一般是由於兩次或兩次以上的格式化namenode造成的,有兩種 方法可以解決,第一種方法是刪除datanode的所有資料(及將集群中每個datanode的/hdfs/data/current中的version刪掉,然後 執行hadoop namenode -format重啟集群,錯誤消失。《推薦》);第二種方法是修改每個datanode的namespaceid(位 於/hdfs/data/current/version檔案中)《優先》或修改namenode的namespaceid(位於/hdfs/name/current/version檔案中), 使其一致。)
出現該問題的原因:在第一次格式化dfs後,啟動並使用了hadoop,後來又重新執行了格式化命令(hdfs namenode - format),這時namenode的clusterid會重新生成,而datanode的clusterid 保持不變。
3.eclipse執行wordcount無法找到input 路徑
相關**:解決關鍵)
問題解決:中的路徑配置是正確的。
改正後路徑:hdfs://localhost:9000/user/root/input hdfs://localhost:9000/user/root/output
4.是輸入的問題,但是改過後那三個log4j:warn還在
回答log4j:warn可以不管
。警告是提示你沒有配置log4j,所有的日誌只會輸出在控制台。
要去掉這個警告也可以,配置一下log4j就行,參考如下:
改好log4j後,出現如下問題,org.apache.hadoop.security.accesscontrolexception:
permission denied: user=think, access=write, inode="/user/root":root:supergroup:drwxr-xr-x
相關**: (感謝wuzhongfei88的帖子)
感謝十年一賤提供的解決方案)
問題描述:如上。
問題解決:因為eclipse使用hadoop外掛程式提交作業時,會預設以 drwho 身份去將作業寫入hdfs檔案系統中,對應的也就是 hdfs 上的/user/*** , 我的 為/user/hadoop , 由於 drwho 使用者對hadoop目錄並沒有寫入許可權,所以導致異常的發生。提供的解決方法為:放開 hadoop 目錄的權 限 , 命令如下 :$ hadoop fs -chmod 777 /user/hadoop
hadoop 編譯eclipse 外掛程式
使用eclipse開發hadoop專案時,可以使用hadoop eclipse外掛程式,提高效率,下面來介紹下步驟 步驟 操作 1 進入 root hadoop 1.2.0 src contrib eclipse plugin下面,修改build.xml 2 進入 root hadoop 1.2.0...
Eclipse開發Hadoop程式
如鏈結 所示,如果想通過eclipse開發hadoop程式,需要以下步驟 3 通過window preferens,配置hadoop map reduce選項。指定hadoop安裝位址。4 配置map reduce locations。在window show view中開啟map reduce l...
eclipse整合Hadoop開發
eclipse整合hadoop開發的準備工作如下 把 hadoop eclipse plugin 1.0.0.jar 放到eclipse的目錄 的 plugins 中,然後重新eclipse即可生效。配置hadoop位址及埠 儲存並重新整理左側的dfs locations 其它配置 5.1解決許可權...