首先，namenode維護著當前集群中datanode的拓撲情況（也就是哪個datanode在哪個機架上）。
hadoop認為datanode與客戶端的距離，最近的是客戶端本身（如果客戶端與datanode在同一臺機器上時），
其次是與客戶端在同一機架上的datanode，最遠的是與客戶端在不同機架上的datanode。
1）如果客戶端在集群中，namenode就可以從資料所在datanode中，選出乙個距離最短的節點了。
2）如果客戶端不在集群中時，namenode認為客戶端與集群中任何datanode的距離是一樣的，
namenode會根據datanode負載情況，返回乙個擁有資料的datanode的位置資訊，供客戶端訪問它。
Hadoop資料傾斜處理
何為資料傾斜？在弄清什麼是資料傾斜之前,我想讓大家看看資料分布的概念 正常的資料分布理論上都是傾斜的，就是我們所說的20 80原理 80 的財富集中在20 的人手中,80 的使用者只使用20 的功能 20 的使用者貢獻了80 的訪問量 不同的資料字段可能的資料傾斜一般有兩種情況 一種是唯一值非常少，...
Hadoop處理資料傾斜
南國在最開始學習hadoop的時候，一直其他人說的資料傾斜及資料傾斜的解決辦法沒有完全弄明白。通過這段時間的學習，看了許多資料，這裡參考網上資料 以及自己的理解。這篇部落格 寫乙個有關於資料傾斜的歸納總結。話不多說，乾貨馬上送到。在弄清什麼是資料傾斜之前,我想讓大家看看資料分布的概念 正常的資料分布...
hadoop處理前N個最值問題
例子為100w 條資料 取出前十個最值 純本人看完課程後的手寫，沒有參考網上，結果應該沒問題的，也沒找到標準答案寫法。首先，由於值都是double，預設的排序方式是公升序，這裡面我們取得是降序，所以自定義hadoop物件，並實現writablecomparable介面，然後覆蓋compareto方法...