hadoop 1.x和2.x區別
版本1.x
2.xcommon元件有有
hdfs元件有有
yarn元件
沒有負責資源排程
map-reduce元件
負責計算和資源排程
負責計算
1.x中map reduce負責計算和資源排程，而在2.x版本中解耦，yarn負責資源排程，map reduce負責計算
hdfs-hadoop distributed file system架構
1.namenode(nn):儲存檔案的元資料，如檔名、檔案目錄結構、檔案屬性（生成時間、副本數、檔案許可權），以及每個檔案的塊列表和塊所在的datanode等
2.datanode(dn)：在本地檔案系統中儲存檔案塊資料，以及塊資料的校驗和
3.secondary namenode(2nn):用來監控hdfs狀態的後台輔助程式，每隔一段時間獲取hdfs元資料的快照
yarn架構概述
mapreduce架構
mapreduce分為兩個階段，map和reduce
map階段並行處理輸入的資料
reduce階段是對map輸出的結果進行處理
Hadoop生態圈普及
大資料一路走來，從最開始的hadoop1.0 逐漸發展到hadoop2.0。hadoop的橫空出世引領了大資料行業技術的發展。逐漸以分布式並行離線處理框架mapreduce 分布式檔案儲存系統hdfs以及排程系統yarn為中心，發展出龐大的生態圈，比如hive hbase zookeeper等等，豐...
Hadoop生態圈初識
一 簡介 hadoop是乙個由apache 會所開發的分布式系統基礎架構。hadoop的框架最核心的設計就是 hdfs和mapreduce。hdfs為海量的資料提供了儲存，則mapreduce為海量的資料提供了計算。二 hdfs hadoop distributed file system，簡稱hd...
產業生態圈和生態圈
突然想到這麼乙個比喻，不是想說明什麼。想起以前經常看到的android生態圈，mac生態圈，win生態圈之類。是不是可以把 產業生態圈 產業鏈 和 生態圈 食物鏈 做模擬？生態學裡面也形象的把以自養生物為食物的動物稱為初級消費者。市場這個 生態圈 裡的各級 消費者 傳遞的不是能量，而是利潤 空白市場...