實際上需要工程師收到建立乙個指令碼(python sh ),指令碼中記錄主機ip和交換機的對應關係。
配置的位置是core-site.xml最終新增如下配置
#!/usr/bin/python
#-*-coding:utf-8 -*-
import sys
rack =
if __name__=="__main__":
print "/" + rack.get(sys.ar**[1],"sw6300-1-2")
使用以下命令驗證
[root@node01 sbin]# python rackaware.py 12.12.3.1
/sw6300-1
[root@node01 sbin]# python rackaware.py 12.12.3.25
/sw6300-2
[root@node01 sbin]# python rackaware.py 12.12.3.75
/sw6300-4
[root@node01 sbin]# python rackaware.py 12.12.3.100
/sw6300-1-2
編輯core-site.xml配置檔案,將指令碼配置為topology.script.file.name的值
topology.script.file.name
hdfs 機架感知
client 向 active nn 傳送寫請求時,nn為這些資料分配dn位址,hdfs檔案塊副本的放置對於系統整體的可靠性和效能有關鍵性影響。乙個簡單但非優化的副本放置策略是,把副本分別放在不同機架,甚至不同idc,這樣可以防止整個機架 甚至整個idc崩潰帶來的錯誤,但是這樣檔案寫必須在多個機架之...
hadoop 三 hdfs 機架感知
client 向 active nn 傳送寫請求時,nn為這些資料分配dn位址,hdfs檔案塊副本的放置對於系統整體的可靠性和效能有關鍵性影響。乙個簡單但非優化的副本放置策略是,把副 本分別放在不同機架,甚至不同idc,這樣可以防止整個機架 甚至整個idc崩潰帶來的錯誤,但是這樣檔案寫必須在多個機架...
HDFS的機架感知策略
機架感知是一種計算不同計算節點 tt 的距離的技術,用以在任務排程過程中儘量減少網路頻寬資源的消耗,這裡用盡量,想表達的是當乙個tt申請不到本地化任務時,jt會盡量排程乙個機架的任務給他,因為不同機架的網路頻寬資源比同乙個機架的網路頻寬資源更可貴。當然,機架感知不僅僅用在mr中,同樣還用在hdfs資...