兩個核心點:
mapreduce程式設計模型:把資料運算流程分成2個階段:
階段1:讀取原始資料,形成key-va1ue資料( map方法)
階段2:將階段1的key-va1ue資料按照相同key分組聚合(reduce方法)
mapreduce程式設計模型的具體實現(軟體) : hadoop 中的mapreduce框架; spark;
hadoop中的mapreduce框架:
對程式設計模型階段1的實現就是: map task
對程式設計模型階段2的實現就是: reduce task
dboutputformat
dboutputformat
c 要點複習
這裡就不管你c語言的了，預設有c語言基礎，僅整理一些c 特有的嘿嘿嘿。1.從函式返回陣列 這裡我容易出錯 int getrandom 2.string 和string 類 string和c裡面的一樣，引入cstring標頭檔案。有strcat 連線，strcpy 複製，strlen 長度，strcm...
LVS NAT DR複習要點
lvs做slb 第四層負載 nat模式director需路由 功能。director需有個公網位址的vip nat模式下，網路資料報的進出都要經過lvs的處理。入包做dnat 出包snat lvs需作為rs 真實伺服器 的閘道器。nat原理 當請求包到達lvs時 即director lvs做目標位址...
MapReduce程式設計模型的要點
背景 mapreduce現在基本已經成為分布式並行程式設計框架的bible，很多分布式計算引擎的實現 hadoop ciel twister transformer mr mpi phoenix dryad 都將mapreduce作為乙個核心的程式設計模型。mapreduce程式設計模型是什麼？很多...