系統概述
大資料應用支撐平台提供資料支撐服務，對外發布資料服務進行資料價值變現。包含資料採集、資料治理、資料交換、資料儲存、資料計算相關元件的搭建、驗證，並建立大資料倉儲。
b)功能要求
2.資料治理，由於從資料採集工具採集過來的資料不具備統一的資料標準及資料格式，資料治理工具需要對到達的資料進行格式檢查、標準化、增量對比、資料篩選、拆分後，生成符合標準的、統一格式的資料，使之與大資料平台要求的資料標準、邏輯關係與質量符合。
3.資料交換，為了滿足子系統與總系統之間的資料交換及同步的需求，各系統之間的資料傳輸過程需要符合資料規範標準，交換的雙方通過傳送和接收任務進行資料交換，整個過程需要保證資料安全保密及可靠性，並且資料查詢結果始終一致。
4.資料儲存，為了滿足資料採集、資料治理、資料交換各個過程中到達儲存的資料，資料儲存體系需要滿足分布式檔案儲存、分布式列式儲存、nosql資料庫儲存、圖資料庫儲存、關係型結果庫儲存；為了滿足資料計算和資料分析過程對資料的需求，資料儲存體系需要支援全量的從資料儲存體系中抽取出來載入到並行資料處理器，增量的結構化資料實時從資料儲存體系中抽取出來後載入到處理器中進行分析計算。
5.資料計算，資料計算模組需要為資料分析應用場景提供資料計算能力，需要整合分布式計算框架mapreduce、全文檢索儲存引擎(solr)、spark(sparksql、sparkstreaming、graphx)，通過資料匹配、資料搜尋、資料重構，提供對海量資料的並行載入與處理功能，並對資料進行實時計算和離線計算，支撐上層資料分析需求。
stage層(介面層)：提供業務系統資料檔案的臨時儲存，是生產系統資料來源的直接拷貝，由etl過程對資料來源進行直接抽取，在格式和資料定義上不作任何改變。從各業務系統中抽取、抓取的資料，進入這一層。
ods/dwd層(細節資料層)：簡稱dwd層，是對stage層資料進行沉澱，減少了抽取的複雜性，同時ods/dwd的資訊模型組織主要遵循企業業務事務處理的形式，將企業各專業資料進行集中，將資料按分析的主體的形式存放，跟stage層的粒度一致，屬於分析的公共資源。
mid層(輕度彙總層)：是面向分析型應用，對dwd層的生產資料進行輕度綜合和匯**計。
dm層(資料集市層)：將資料按分析的專題組織成多維庫表的形式存放，屬於分析目標範疇的資料組織與彙總，屬於分析的專有資源，其資訊主要**於dwd 和mid層彙總，時間維度可以是日、月、季、年。
mdw層(元資料)：對資料倉儲中的資料、資料來源、採集方式進行描述。
各類資料從業務系統通過etl工具抽取至介面層，然後經過清洗轉換，進入細節資料層，經過匯**計，進入輕度彙總層，再經過主題劃分，按事實表、維度表進行彙總組織，形成資料集市層。
資料倉儲的服務主要包括元資料管理、資料處理排程、資料審核、資料發布。元資料管理對資料倉儲中的資料、資料來源、採集方式進行管理，為資料處理和發布提供基礎元資料。資料處理排程實現各層資料處理過程的排程管理。資料審核實現資料完整性、一致性、準確性的檢查。資料發布實現資料的對外共享發布。
基於資料倉儲，搭建資料分析工具，實現資料明細查詢、全文檢索，資料互動式探索、資料統計和資料探勘等。資料分析的結果可以進一步接入到應用中，進行視覺化展現。
關於大資料的大資料平台
大資料平台，顧名思義就是整合 應用和大資料系統之間的差異，將應用程式產生的資料匯入到大資料系統，經過處理計算後再匯出給應用程式使用。網際網路產品處理使用者請求，需要毫秒級的響應，要在 1 秒內完成計算，普通大資料計算必然不能實現這樣的響應要求。如何才能彌補這網際網路和大資料系統之間的差異呢？解決方案...
大資料安全分析平台評估五要素
在考核大資料安全分析平台時，要確保對以下五個要素進行評估，這對實現大資料分析的效果非常關鍵。這對於快速收集隨時產生的海量資料 快速進行資料分析，確保安全人員高效響應非常重要。大資料安全分析平台評估五要素。要素1 統一的資料管理平台 統一的資料管理平台是大資料分析系統的基礎。資料管理平台儲存和查詢企業...
什麼是大資料平台和大資料
大資料 時下乙個熱門的詞語，近幾年來，關於大資料的著作和文章鋪天蓋地，似乎也在共同在傳遞乙個資訊 越來越多的行業 人士開始關注並實際探索大資料的應用，我們正在一起描繪著大資料巨大效用的藍圖，但在實踐的路上，我們都處在孩子起步階段小步前行。一 什麼是大資料 大資料 big data 指無法在一定時間範...