大資料一路走來，從最開始的hadoop1.0 逐漸發展到hadoop2.0。hadoop的橫空出世引領了大資料行業技術的發展。逐漸以分布式並行離線處理框架mapreduce、分布式檔案儲存系統hdfs以及排程系統yarn為中心，發展出龐大的生態圈，比如hive、hbase、zookeeper等等，豐富健全了最開始的大資料技能系統。隨著大資料技術的發展，又開發引進了以spark為核心的處理體系，列式資料庫kudu、多維分析引擎druid、kylin等等，更加豐富了這個龐大的生態圈，對於資料的分析處理有更多的使用選擇，可以更大的發揮出資料中的亮點，更好的使資料賦能業務，近期flink也算是繼hadoop、spark後第三代這個生態圈的引領者，筆者也是從事大資料領域多年，也希望大資料生態圈能發展的越來越好。
it技術每一門方向的都會有乙個強大的技術圈。技術比如前端、後端、資料、演算法、產品等等，都會有乙個逐漸龐大完善的技能棧，下面就簡單介紹下大資料hadoop的生態圈。
Hadoop生態圈初識
一 簡介 hadoop是乙個由apache 會所開發的分布式系統基礎架構。hadoop的框架最核心的設計就是 hdfs和mapreduce。hdfs為海量的資料提供了儲存，則mapreduce為海量的資料提供了計算。二 hdfs hadoop distributed file system，簡稱hd...
Hadoop生態圈之zookeeper
zookeeper是乙個分布式服務框架，主要用來解決分布式應用中經常遇到的一些資料管理問題，如 統一命名服務 狀態同步服務 集群管理 分布式應用配置項的管理等。簡而言之就是 zookeeper 檔案系統 監聽通知機制。每個子目錄如nameservice都被稱為znode 目錄節點 和檔案系統一樣，我...
產業生態圈和生態圈
突然想到這麼乙個比喻，不是想說明什麼。想起以前經常看到的android生態圈，mac生態圈，win生態圈之類。是不是可以把 產業生態圈 產業鏈 和 生態圈 食物鏈 做模擬？生態學裡面也形象的把以自養生物為食物的動物稱為初級消費者。市場這個 生態圈 裡的各級 消費者 傳遞的不是能量，而是利潤 空白市場...