一、hadoop集群在namenode格式化（bin/hadoop namenode -format）後重啟集群會出現如下
incompatible namespaceids in ... :namenode namespaceid = ... ,datanode namespaceid=...錯誤，原因是格式化namenode後會重新建立乙個新的namespaceid,以至於和datanode上原有的不一致。
解決方法：
刪除datanode dfs.data.dir目錄（預設為tmp/dfs/data）下的資料檔案
修改dfs.data.dir/current/version 檔案，把namespaceid修成與namenode上相同即可（log錯誤裡會有提示）
重新指定新的dfs.data.dir目錄
kettle執行sql語句錯誤總結
kettle配置圖 1.元件 欄位選擇報錯 error version 7.1.0.0 12,build 1 from 2017 05 16 17.18.02 by buildguy 字段 已經被指定2次 或更多 使用同乙個名字 原因 字段選擇元件中重複選擇了同乙個字段導致報錯。處理 字段選擇中選擇...
Hadoop執行過程
根據hadoop 的描述，hadoop執行過程分為load map shuffle reduce這四個階段，可以看成是乙個由split itemize map reduce等10個函式或運算元組成的dag。其中每乙個函式或運算元，都可以提供自定義的實現以此來擴充套件hadoop的功能或優化效能。1 ...
Hadoop例項執行
1 要使用 hdfs，首先需要在 hdfs 中建立使用者目錄，也可以使用預設根目錄 zhaojunyandemacbook pro zhaojunyan hdfs dfs mkdir p usr hadoop 預設根目錄是 hdfs localhost 9000 user zhaojunyan 2 ...