自己搭建的hadoop集群一般預設不具備機架感知能力，為了提高hadoop集群的網路效能，我們常常需要配置機架感知。下面是以下步驟：
一、修改配置檔案core-site.xml，新增配置屬性：
topology.script.file.name
/home/r203/hadoop-0.20.2/rackaware.py
二、編寫自己的指令碼rackaware.py：
#!/usr/bin/python
#-*-coding:utf-8 -*-
import sys
rack =
if __name__=="__main__":
print "/" + rack.get(sys.argv[1],"rack0")
三、重啟namenode。
hadoop配置機架感知，原理
hadoop權威指南 裡面有說明，配置機架感知的目的就是要最大程度發揮hadoop的效能，要做到這點就是知道hadoop集群的網路拓撲結構 it knows the topology of your network 如果集群中的機器都跑在乙個機架上，那麼我們什麼都不用做，集群下的節點預設都是在 de...
Hadoop 機架感知
hadoop中副本在不同節點之間的複製需要消耗資源，為了充分發揮hadoop的效能，hadoop需要配置機架感知，這可以讓hadoop通過網路拓撲圖計算不同節點之間的距離，因此來減少資料傳輸消耗的資源。通過hadoop官網我們知道，不配置機架感知，所有的都預設為 default rack，可以通過命...
hadoop機架感知
在hadoop集群資料儲存多副本前提下，訪問hadoop hdfs集群時，訪問速度直接受到datanode選取策略的影響。可以通過自定義hadoop集群的網路拓撲結構，最大程度的發揮hadoop集群的效能。某生產環境採用hadoop集群部署，其中兩台資料節點在idc機房，一台資料節點在阿里雲。預設情...