hadoop常見問題總結1

問題1：http：//localhost：50030

解決辦法：

buid本地庫存後，應該把build目錄刪除，否則啟動指令碼會把目錄重定向到build目錄中，導致web管理頁面打不開，啟動指令碼中,如果有build目錄,就將路徑轉到build下.

問題2、http：//localhost：50070

unable to connect

如下圖所示：

解決辦法：首次執行，需要對namenode進行格式化：bin/hadoop namenode -format  

注意：上面的命令應該是cd 到hadoop資料夾下

解決問題以後出現如下頁面：

問題3：hadoop在子節點上沒有datanode程序

解決辦法：

1.先停止hadoop，bin/stop-all.sh

2.把hadoop/tmp下所有檔案刪除

3.重新格式化dfs  bin/hadoop namenode -format

4.再重啟bin/start-all.sh

5.檢視各節點jps，就有datanode和tasktracker了

問題4：

exception in thread "main" org.apache.hadoop.mapreduce.lib.input.invalidinputexception: input path does not exist: hdfs://localhost:9000/user/wu/in

解決方法：

hadoop處理的檔案都是在hdfs中，所以必須把要處理的檔案複製到hadoop 某個資料夾中。

下面舉例，在in中新建資料夾，把提前做好的wordcount檔案複製到hdfs中，最後執行程式

$mkdir input

$cd input
$echo
"hello world
">test1.txt
$echo
"hello hadoop
">test2.txt
$cd ..
$bin/hadoop dfs -put input in
$bin/hadoop jar build/hadoop-0.20.2-examples.jar wordcount in out
$bin/hadoop dfs -cat out/*

刪除output資料夾即可解決

hadoop常見問題

1。執行mapreduce程式出錯，connection to resourcemanager retrying retrying 原因是沒有啟動yarn或者啟動失敗 2.hdfs namenode format 只是初始化了namenode的工作目錄 而datanode的工作目錄是在datanod...

hadoop常見問題彙總

本文彙總了幾個hadoop yarn中常見問題以及解決方案，注意，本文介紹解決方案適用於hadoop 2.2.0以及以上版本。1 預設情況下，各個節點的負載不均衡 任務數目不同 有的節點很多任務在跑，有的沒有任務，怎樣讓各個節點任務數目盡可能均衡呢？答 預設情況下，資源排程器處於批排程模式下，即乙個...

面試常見問題 1 this的常見問題

this 的含義 this關鍵字是乙個非常重要的語法點。毫不誇張地說，不理解它的含義，大部分開發任務都無法完成。前一章已經提到，this可以用在建構函式之中，表示例項物件。除此之外，this還可以用在別的場合。但不管是什麼場合，this都有乙個共同點 它總是返回乙個物件。簡單說，this就是屬性或方...