1.第一代
hadoop 承載的 mapreduce
2.第二代
支援 dag(有向無環圖) 的框架: tez 、 oozie,主要還是批處理任務
3.第三代
job 內部的 dag(有向無環圖) 支援(不跨越 job),以及強調的實時計算:spark
4.***
對流計算的支援,以及更一步的實時性:flink
分布式系統,資源排程
檔案儲存:hadoop hdfs、tachyon、kfs
離線計算:hadoop mapreduce、spark
流式、實時計算:storm、spark streaming、s4、heron ,flink
k-v、nosql資料庫:hbase、redis、mongodb
資源管理:yarn、mesos
日誌收集:flume、scribe、logstash、kibana
訊息系統:kafka、stormmq、zeromq、rabbitmq
查詢分析:hive、impala、pig、presto、phoenix、sparksql、drill、flink、kylin、druid
分布式協調服務:zookeeper
集群管理與監控:ambari、ganglia、nagios、cloudera manager,
資料探勘、機器學習:mahout、spark mllib
資料同步:sqoop
任務排程:oozie
zk client
zk分布式鎖
zk如何進行資源協調
zk的原理
client
簡單的mr程式 wordcount
client
VIM練級攻略
2011年9月7日陳皓 95,880 人閱讀 vim的學習曲線相當的大 參看各種文字編輯器的學習曲線 所以,如果你一開始看到的是一大堆vim的命令分類,你一定會對這個編輯器失去興趣的。下面的文章翻譯自 learn vim progressively 我覺得這是給新手最好的vim的公升級教程了,沒有列...
Vim 練級攻略
你想以最快的速度學習人類史上最好的文字編輯器vim嗎?你先得懂得如何在vim倖存下來,然後一點一點地學習各種戲法。vim the six billion dollar editor better,stronger,faster.學習 vim 並且其會成為你最後乙個使用的文字編輯器。沒有比這個更好的文...
簡明 Vim 練級攻略
原文 vim的學習曲線相當的大 參看 各種文字編輯器的學習曲線 所以,如果你一開始看到的是一大堆vim的命令分類,你一定會對這個編輯器失去興趣的。下面的文章翻譯自 learn vim progressively 我覺得這是給新手最好的vim的公升級教程了,沒有列舉所有的命令,只是列舉了那些最有用的命...