單機程式計算流程
輸入資料—>讀取資料—>處理資料—>寫入資料—>輸出資料
hadoop計算流程
input data：輸入資料
inputformat：對資料進行切分，格式化處理
map：將前面切分的資料做map處理(將資料進行分類，輸出(k,v)鍵值對資料)
shuffle&sort:將相同的資料放在一起，並對資料進行排序處理
reduce：將map輸出的資料進行hash計算，對每個map資料進行統計計算
outputformat：格式化輸出資料
map：將資料進行處理
buffer in memory：達到80%資料時，將資料鎖在記憶體上，將這部分輸出到磁碟上
partitions：在磁碟上有很多"小的資料"，將這些資料進行歸併排序。
merge on disk：將所有的"小的資料"進行合併。
reduce：不同的reduce任務，會從map中對應的任務中copy資料，在reduce中同樣要進行merge操作
3.1mapreduce架構 1.xresourcemanager：負責資源的管理，負責提交任務到nodemanager所在的節點執行，檢查節點的狀態
nodemanager：由resourcemanager指派任務，定期向resourcemanager匯報狀態
python分布式儲存系統 分布式系統
danger 什麼是分布式系統 分布式系統是由一組通過網路進行通訊 為了完成共同的任務而協調工作的計算機節點組成的系統。分布式系統的出現是為了用廉價的 普通的機器完成單個計算機無法完成的計算 儲存任務。其目的是利用更多的機器，處理更多的資料。首先需要明確的是，只有當單個節點的處理能力無法滿足日益增長...
Hadoop分布式框架簡介
原文 分布式系統基本原理 分布式系統被設計成可以儲存和管理大資料量的資訊的系統，並為這些資料提供對外的訪問功能 通過網路 現在已經有許多的分布式系統用各種不同的方法解決了這個問題。nfs,the network file system,是目前最普遍的分布式系統。它也是還在使用的最老的分布式系統之一。...
分布式計算框架與分布式檔案系統
分布式計算框架與分布式檔案系統是兩個概念。分布式計算框架是用於處理大資料的一種模型，而分布式檔案系統可以用於大資料的儲存。對於如何處理大資料，計算機科學界有兩大方向 一是集中式計算，二是分布式計算。過去，分布式計算理論比較複雜，技術實現比較困難，因此集中式計算一直是主流解決方案。但2003年到200...