1，在hdfs-site.xml 中配置多目錄，提前配置好，以免以後要配置時，需要重啟集群。
2，namenode 有乙個工作執行緒池，用來處理不同的datanode的併發心跳和客戶端訪問併發請求。配置dfs.namenode.handler.count=20 * log2(cluster size)，比如集群為10臺，可以設定為60。
3，把編輯日誌儲存路徑和映象檔案儲存路徑分開，達到最低寫入延遲。
4，可以調整nm最大的物理記憶體量，預設8g，可以調大；如果你的物理記憶體不足8g，則需要調小，因為nm不會探測你的物理記憶體。
5，可以調大單個任務獲取的最大記憶體，預設8g，可以調大。
Hadoop引數調優
1 要注意namenode和datanode的通訊，有乙個引數可以提公升他們通訊的順暢度 即20logn，n為集群大小 2 注意把hdfs的namenode 檔案edits 日誌檔案 和fsimage 映象檔案 配置在不同目錄下。可以提公升namenode效能 3 基準測試 測試hdfs的寫 讀效能...
hadoop 引數調優重點引數
yarn的引數調優,必調引數 28 yarn.nodemanager.resource.memory mb 預設為8192。每個節點可分配多少物理記憶體給yarn使用，考慮到節點上還 可能有其他程序需要申請記憶體，該值設定為物理記憶體總數 1.3比較合適，例如128g記憶體的節點可以分配100g 3...
Hadoop調優的幾個引數
hdfs hdfs site.xml中的dfs.namenode.handler.count 20 log2 cluster size 比如集群規模為 8 台時，此引數設定為 60，該引數決定有多少執行緒數用來處理不同 datanode 的併發心跳以及客戶端併發的元資料操作 yarn yarn si...