大資料分析平台的搭建有利於幫助企業構建統一的資料儲存和資料處理資源，圍繞企業業務開展大資料應用建設，最終形成面向服務化的資料資產。而今天我們就來了解一下，常見的大資料平台都包含哪些層次？
1、資料採集層：分3個層面的採集技術進行支援，一是傳統業務系統資料庫和半結構化、結構化資料的採集和整合，如採用sqoop技術進行關聯式資料庫和hadoop系統之間的資料抽取和交換;二是交通實時流資料的採集，包括實時感測器資料、定位軌跡資料和其他實時流資料;三是交通公共資料的採集，包括公網的資料爬取、開放平台的資料介面、行業公共資料庫的資料交換等。對採集到的資料需進行提取、轉換和載入(extract-transform-load，etl)處理，包括資料抽取、轉換、清洗和隱私脫敏等預處理工作，預處理整合後的資料進入交通大資料雲儲存中心。
2、資料儲存層：交通領域資料規模巨大，資料儲存層需設計基於雲計算的分布式雲儲存系統，以支援海量資料的儲存擴充套件。提供基於雲的列式儲存、nosql儲存或資料倉儲儲存能力;根據業務需求和快速配置，可切換相應的分布式儲存模式，還可根據需要對傳統bi系統的資料倉儲和資料集市進行整合。利用hadoop集群提供pb級儲存能力擴充套件，同時hadoop yarn和spark mesos等集群資源管理框架可支援多種儲存模式和計算模式在此基礎上，對各類儲存資料進行多粒度資訊融合，構建統一資料處理單元，為計算服務層提供標準化的分析資料集。
3、資料計算層：針對交通大資料多源、異構、海量等特徵，傳統的計算模型難以直接處理。資料計算層需滿足主流大資料處理框架的各種計算模型與方法實現，如基於雲計算並行框架，實現基於hadoop批處理、storm流處理、spark記憶體處理的高效資料探勘與機器學習。資料計算層採用基於統一資料處理單元和計算模式、模型微服務化的大資料分析框架，通過構建多種微服務簇網路，為應用層提供支援mapreduce、storm、spark等多種計算模式下的多種資料探勘模型與方法(如分類、聚類、序列等);根據大資料分析需求和資料特徵，可基於元件配置和服務治理技術進行各類服務的快速切換和靈活管理。
4、資料應用層：資料應用層首先要滿足智慧型交通各類大資料分析需求，包括基本的視覺化與查詢、展示、探索等，分析結果能結合知識庫應用於決策支援。另外，大資料系統本身管理方面，針對構件化和微服務設計，需對相關中介軟體進行設計，實現服務治理、元件配置、安全、介面等功能，以支撐儲存層和計算層各類微服務的敏捷管理。
平台的每個子系統都包含不同的功能，不同功能的模組組合成乙個具有實際應用價值的大資料分析平台，實現對各種業務的前瞻性**和分析，為使用者提供統一的決策分析支援，從而更好地突出平台本身的價值。
大資料平台是什麼？有哪些功能？如何搭建大資料平台？
大資料平台是為了滿足企業對於資料的各種要求而產生的。大資料平台 是指以處理海量資料儲存 計算及不間斷流資料實時計算等場景為主的一套基礎設施。典型的包括hadoop系列 spark storm flink以及flume kafka等集群。既可以採用開源平台，也可以採用華為 星環等商業級解決方案，既可以...
大資料平台搭建 簡單說
1.安裝虛擬機器 vmware8.0 2.在虛擬機器中安裝centos 作業系統 centos7 3臺以上 3.安裝ssh 在windows平台遠端管理linux系統的工具 bvsshclient inst 4.配送ssh免密登入 5.hadoop安裝 常用命令 5.hdfs 安裝 常用命令 6.安...
大資料處理平台都有哪些？
在大資料工作中，有很多的工具和平台需要我們去了解，當我們把這些工具爛熟於心，我們就能夠更好地處理大資料所涉及的問題。關於大資料的工具有很多，我們在前面的文章中已經給大家介紹了不少，今天重點給大家介紹一下大資料的處理平台。大資料的處理平台也是有很多的，我們可以從大資料的處理過程中進行區分。而大資料的處...