最近，我再整理學習的大資料的架構知識。
大資料，只是的對大量數量的儲存，分析（計算），應用（處理）。
大資料採取非關係型儲存。monogo居多。
**比較系統。
1.kafak分布式寫入採集系統。
2.hbase寫入資訊。
3.storm處理資料。
4.結果儲存mysql。
日誌系統:
1.日誌寫入。
2.hbase儲存。
3.規則計算（進行規則分析，報警等後續處理）。
5.生成報表。
大資料系統關鍵點：
1.大資料的寫入，儲存，一致性，事物等。
2.大資料如何處理，資料清理，資料加工（根據id取資訊等），資料計算，結果儲存。
3.結果的後續處理。
大資料架構分析
1.典型應用 ab test 平台 指標計算 指標 orderid,passenger 等.cube 演算法,快速生成 n 個維度的資料,可隨意的下探上放.其他細節 見個人日記 監控統計 報表展現 異常檢測 餘弦定理 apollo採用箱線圖 boxplot 2.cboard 前端展現平台,拖拽 維度...
初探大資料 YARN架構分析 實戰四
yarn架構 1 rm resourcemanager n nm nodemanager resourcemanager的職責 乙個集群active狀態的rm只有乙個，負責整個集群的資源管理和排程 1 處理客戶端的請求 啟動 殺死 3 監控nm 4 系統的資源分配和排程 nodemanager 整個...
大資料之大資料技術架構
上期我們說到大資料的概念，其實，大資料比我們想象中的還要複雜，本期，我們主要從技術的角度介紹一下大資料的知識。大資料技術是一系列技術的總稱，它是集合了資料採集與傳輸 資料儲存 資料處理與分析 資料探勘 資料視覺化等技術，是乙個龐大而複雜的技術體系。根據大資料從 到應用，實現傳輸的流程，可以將大資料技...