程式設計練級之大資料練級攻略

2021-10-08 03:15:07 字數 915 閱讀 4284

1.第一代

hadoop 承載的 mapreduce

2.第二代

支援 dag(有向無環圖) 的框架: tez 、 oozie,主要還是批處理任務

3.第三代

job 內部的 dag(有向無環圖) 支援(不跨越 job),以及強調的實時計算:spark

4.***

對流計算的支援,以及更一步的實時性:flink

分布式系統,資源排程

檔案儲存:hadoop hdfs、tachyon、kfs

離線計算:hadoop mapreduce、spark

流式、實時計算:storm、spark streaming、s4、heron ,flink

k-v、nosql資料庫:hbase、redis、mongodb

資源管理:yarn、mesos

日誌收集:flume、scribe、logstash、kibana

訊息系統:kafka、stormmq、zeromq、rabbitmq

查詢分析:hive、impala、pig、presto、phoenix、sparksql、drill、flink、kylin、druid

分布式協調服務:zookeeper

集群管理與監控:ambari、ganglia、nagios、cloudera manager,

資料探勘、機器學習:mahout、spark mllib

資料同步:sqoop

任務排程:oozie

zk client

zk分布式鎖

zk如何進行資源協調

zk的原理

client

簡單的mr程式 wordcount

client

VIM練級攻略

2011年9月7日陳皓 95,880 人閱讀 vim的學習曲線相當的大 參看各種文字編輯器的學習曲線 所以,如果你一開始看到的是一大堆vim的命令分類,你一定會對這個編輯器失去興趣的。下面的文章翻譯自 learn vim progressively 我覺得這是給新手最好的vim的公升級教程了,沒有列...

Vim 練級攻略

你想以最快的速度學習人類史上最好的文字編輯器vim嗎?你先得懂得如何在vim倖存下來,然後一點一點地學習各種戲法。vim the six billion dollar editor better,stronger,faster.學習 vim 並且其會成為你最後乙個使用的文字編輯器。沒有比這個更好的文...

簡明 Vim 練級攻略

原文 vim的學習曲線相當的大 參看 各種文字編輯器的學習曲線 所以,如果你一開始看到的是一大堆vim的命令分類,你一定會對這個編輯器失去興趣的。下面的文章翻譯自 learn vim progressively 我覺得這是給新手最好的vim的公升級教程了,沒有列舉所有的命令,只是列舉了那些最有用的命...