前提 環境 ubuntu 安裝hadoop 已經有一段時間
１．啟動的時候提示
connection reset by peer 這個檢視日誌，裡面有說 ssh裡面某個檔案的許可權太大 這個ssh裡修改下就可以
２．eperm: operation not permitted
這個之前以為是許可權問題，後來改成７７７依然不行，最後重新格式化namenode後解決
bin/hadoopnamenode -format
３．新建資料夾之前要先新建使用者目錄。
/hadoop/bin$ ./hdfs dfs -mkdir -p /user/hadoop
４．namenode 因為某個資料夾的許可權問題引起啟動失敗。日誌裡可以看到，這個chmod 之後就可以
5.file exception between local host is: "ubuntu/127.0.1.1"; destination host is: "localhost":9000;
這個錯誤在format namenode後解決了
６． all directories in dfs.datanode.data.dir are invalid
忽然出現這個問題，上次使用還很正常的，為什麼每次關閉之後似乎就不能用了 最後在overflow裡 發現我的hadoop.tmp.dir 並沒有配置而是使用了預設的，所以在每次重啟之後這個東西都會被刪除，然後導致了問題。於是修改hdfs-site.xml
hadoop.tmp.dir/usr/local/hadoop/tmp
再之後重新格式化節點就可以了．有說許可權不對的，實際操作了下好像沒有用，請各位童鞋結合自己實際情況操作，請大家安裝配置的時候務必將目錄修改到持久化的目錄，而不是使用預設的這個目錄
7.unhealthy nodes 這裡我這邊是在yarn-site.xml下配置了yarn.nodemanager.local-dirs 因為沒有制定目錄使用的是預設的路徑所以出問題了 這裡可以使用 yarn node -list -all 檢視節點的狀況。 配置之後重啟了下服務 重新整理下頁面後已經沒有不健康的節點了．
Hadoop使用例項
1.詞頻統計 1.2編寫map與reduce函式 1.3本地測試map與reduce 1.4將文字資料上傳至hdfs上 1.5用hadoop streaming提交任務 1.6檢視執行結果 1.7計算結果取回到本地 加分2.氣象資料分析 如 求每日最高溫度 2.2解壓資料集，並儲存在本地文字檔案中 ...
Hadoop使用例項
1.詞頻統計 1.2編寫map與reduce函式 1.3本地測試map與reduce 1.4將文字資料上傳至hdfs上 1.5用hadoop streaming提交任務 1.6檢視執行結果 1.7計算結果取回到本地 2.氣象資料分析 如 求每日最高溫度 2.2解壓資料集，並儲存在本地文字檔案中 2....
hadoop學習問題總結
1 找到問題的原因 sequencefile時連線不上錯誤，一直以為是集群沒有搭建成功，執行其他程式卻沒有問題，確定是程式本身的問題。2 hadoop streaming babel不能處理連續的兩個由sequencefile生成的檔案，一直不知道是什麼原因，將sequence用cat匯出時，又上網...