採集&傳輸層
離線計算：應用系統日誌 -> flume -> kafka -> hdfs -> mr作業
實時計算：應用系統日誌 -> flume -> kafka -> blink/jstorm/storm/spark streaming
儲存層
計算層
1、離線計算
2、實時計算
在 spark streaming 中，處理資料的單位是一批而不是單條，而資料採集卻是逐條進行的，因此 spark streaming 系統需要設定間隔使得資料彙總到一定的量後再一併操作，這個間隔就是批處理間隔。批處理間隔是 spark streaming 的核心概念和關鍵引數，它決定了 spark streaming 提交作業的頻率和資料處理的延遲，同時也影響著資料處理的吞吐量和效能。
資料服務層
阿里巴巴資料中臺團隊，致力於輸出阿里雲資料智慧型的最佳實踐，助力每個企業建設自己的資料中臺，進而共同實現新時代下的智慧型商業！
阿里巴巴資料中臺解決方案，核心產品：
dataphin，以阿里巴巴大資料核心方**onedata為核心驅動，提供一站式資料構建與管理能力；
quick bi，集阿里巴巴資料分析經驗沉澱，提供一站式資料分析與展現能力；
quick audience，集阿里巴巴消費者洞察及營銷經驗，提供一站式人群圈選、洞察及營銷投放能力，連線阿里巴巴商業，實現使用者增長。
大資料平台學習（一）實時計算框架和儲存
一 計算框架 storm，spark，flink簡介和區別 參考 0 框架流程 從各種 取訊息 流式系統 分布式流通，計算任務，業務等 輸出 後面具體業務ui等 1 storm 2 spark streaming 3 flink 二 儲存 hdfs hadoop分布式檔案系統 hdfs hbase,...
計算機中資料的儲存和排列
二 資料的排列方式 總結在計算機系統中，資料是以位元組為單位的，每乙個位址單元都對應著乙個位元組，乙個位元組為8bit，而且多位元組的資料在記憶體裡一定是佔連續的幾個位元組的，這就意味著位數大於8位的處理器，由於暫存器寬度大於乙個位元組，就變存在著多個位元組的安排問題。因此就導致了大端儲存模式和小端...
整數在計算中的儲存和運算
整數的第一位表示符號位。1 正整數 正整數在計算機中直接用它的二進位制儲存，例如 short s 3 3 2 1 2 0 短整型一般為2個位元組，即16位，它的對應的儲存方式為 0 000 0011 所以，短整型的表示範圍為 2 15 2 15 0是個特例，它有兩種表示方式 1 000 0000 0...