昀哥 20191109
我們做大資料很早，2023年、2023年就開始了，到現在基本形成了一整套完整的資料中臺體系。大資料基本為這三件事服務：
1.決策依據和經營分析
2.運營排程
3.外部機構盡職調查和穿刺
各個公司各條業務線對資料高度敏感，尤其是打仗（有仗打仗，沒仗造仗）的時候基本上是實時排程，加之公司多，資料**多，機房多，交易量大（每日1000+萬），實時性要求高，所以需要一套行之有效的資料中颱來支撐。
首先，我們把大資料技術領域劃分為六塊，如下圖所示。
元資料管理：分為技術元資料和業務元資料。技術元資料描述資料倉儲技術細節。業務元資料從商業和業務的角度描述資料倉儲中的資料，使業務人員更好地、全面地理解資料倉儲中分析出來的資料。其中最經典的場景就是血緣（動態）分析。
協作排程：不管是離線計算，還是實時計算，都需要一套排程和管理系統來幫助資料倉儲工程師平滑地完成測試環境、生產環境的計算任務的打包、提交、測試、核驗資料和發布。
自助分析：也可以叫即席查詢。具有一定經驗的運營人員或資料分析師可以利用自助bi系統完成資料提取、資料分析和展示，所見即所得。
資料視覺化：指的是預先通過視覺化系統配置好的各種監控大屏和經營分析報表。
運維監控告警：對集群元件安裝和公升級，對資料遷移，對集群運轉情況，需要有乙個能讓運維人員和資料倉儲工程師解脫出來的解決方案。
資料資產管理（含資料質量）：在元資料管理基礎之上，第一層需要資料質量保障，即有一套明確的保障機制，對生產出來的資料做校驗，確保資料無誤，否則就要找到資料失真的原因並告警。第二層是梳理盤點資料資產，準確計量資料資產，準確掌握資料資產的開放情況，形成治理閉環。
其次，我們的資料中颱在最近兩年發展得更有體系了，這與公司裂變、業務規模激增引發的，當然也跟我們高屋建瓴、高舉高打分不開。
如果分層來劃分的話，可以把工作成果分為業務交付和過程管控兩啪，如下圖所示。
簡單做乙個系統概述和技術棧說明：
業務交付：
-自助報表：自窩窩以來我們就有一套嚮導式的報表自助配置系統，絕大多數經營分析報表（一般是t+1資料彙總和明細）都是這麼配置出來的，有彙總有明細有圖有表有篩選有排序有匯出。
-數屏：一種高逼格資料應用，它的目標是通過圖形化介面快速搭建視覺化監控大屏，數屏可以提供豐富的視覺化資料元件，滿足業務監控、會議展覽、投資諮詢等多種業務的展示需求，尤其要滿足pc瀏覽器或者手機瀏覽器訪問下的自適應布局。
-資料開放實驗室：一種即席查詢和自助分析系統，它的目標是將我們收集到的各種資料，授權下游企業使用，通過即席查詢定義api，通過api獲取資料，並進一步做視覺化分析，製作報表。它的使用者既有企業內部使用者，也有企業外部使用者。
-天演：不懂sql或是資料庫結構的非技術人員，讓他們能自由地上傳臨時資料、關聯授權資料、探索資料，回答自己的問題，建立自己的個人資料工作台，有圖有表能下鑽，從巨集觀到微觀。也因此資料查詢互動速度要足夠快，選druid，槓槓的。
過程管控：
-魔盒：既然業務開發有研發協作平台、資料庫自動化運維平台和運維自動化平台，那麼大資料開發也肯定需要有乙個協作平台。所謂協作平台，指的是圍繞著四個核心概念（資源，資料，流程，操作）構建乙個體系（資源能看見，流程能流轉，資料能共享，操作有記錄），流程驅動資料和資源，操作視覺化和可追蹤，形成閉環。底層實際是azkaban。
-移山：異構資料來源之間的資料遷移自動化平台，它旨在解決第三方資料接入、實時資料（單向/雙向）同步、大資料集群間的資料遷移等問題。本質上是canal和kafka。
-磐石：基於ambari的運維監控告警系統。
-能量塊：元資料管理系統。
資料中颱在整個大中台的位置如下圖所示。
上面這套大中台體系，我們已經運**如，大勢已成。
-eof-
談談資料中臺技術體系
昀哥 20191109 我們做大資料很早，2011年 2012年就開始了，到現在基本形成了一整套完整的資料中臺體系。大資料基本為這三件事服務 1.決策依據和經營分析 2.運營排程 3.外部機構盡職調查和穿刺 各個公司各條業務線對資料高度敏感，尤其是打仗 有仗打仗，沒仗造仗 的時候基本上是實時排程，加...
資料中臺總體技術架構
中颱的概念熱了將近兩年，有人認為中颱是趨勢，有人認為中颱是炒作。在右上角，可以看到資料中臺依舊可以支援一些分析的場景。當然，這樣的資料中臺必須具備資料的治理能力，如質量，編目，建模等等。所以資料中颱的主要價值在於，資料的協同效率 復用效率和交付速度。原各個系統中的資料不再各自為政，而協同到一起效率提...
中颱及資料中臺
資料諮詢公司thoughtworks首席諮詢師王建給出的10字定義 企業級的能力復用平台 最早由阿里2015年提出的 大中台，小前台 戰略中延伸出來的概念，靈感 於馬爸爸15年拜訪了supercell公司。企業前方市場與企業內部支撐的衝突。變化無序穩定有序 前台與後台的衝突。快速響應，低成本試錯紮實...