檔案與資料塊的對映表
資料塊與資料節點的對映表
接受使用者的操作請求
hdfs特點：
map（對映）"和"reduce（歸約）"，是它們的主要思想.
nodemanager：管理每個節點的資源，處理來自rm和am的命令
深入mapreduce的過程
節點map任務的個數可增大mapred.map.tasks，減少map任務的個數mapred.min.split.size。
資料經過map後經shuffle混冼進入reduce,在大資料的情況下可能造成網路的巨大開銷，所以可以在本地按照key先進行一輪合併和排序，在進行網路混冼。這個過程就是combine。在多數情況下與reduce的邏輯是一致的。partition是在reduce輸入之前發生，相同的key一定會進入同乙個partitioner
乙個mapreduce作業中，以下三者的數量總是相等的。
在乙個reduce中，所有資料都會按照key公升值排序，所以part輸出檔案中包含key值則這個檔案一定是有序的。
載入到記憶體發生在job執行之前，每個從節點各自都快取乙份相同的共享資料，如果共享資料太大，可以將共享資料分批快取，重複執行作業。
Hadoop學習 三 Hadoop入門知識
hadoop主要由namenode和datanode組成。客戶機通過與namenode和datanode的互動訪問檔案系統。對namenode的容錯非常重要。hadoop集群的配置 設定好三颱虛擬機器，分別是node1,node2和node3。設定node1為namenode,在node1的core...
Hadoop學習入門筆記
1 任務執行過程分為 map combiner shuffle reduce 其中combiner合併函式 shuffle混洗是可選的，甚至reduce也可以沒有 2 hadoop一般使用hdfs的資料分塊大小，避免跨節點讀取資料 3 hadoop會在資料來源本地節點進行map計算 4 reduce...
hadoop 學習入門 一 雲計算之旅
一 什麼是雲計算 雲計算是分布式計算 網格計算 平行計算 效用計算 網路儲存 負載均衡 虛擬化 網路計算等傳統計算技術的融合體。二 雲計算的核心技術 1 程式設計模型 2 海量資料分布儲存技術 3 海量資料管理技術 4 虛擬化技術 5 雲計算平台管理技術 三 雲計算的特點 易管理 無需基礎設施的維護...