大資料處理流程

q：

大資料處理的流程是什麼，需要對應掌握哪些技能？

a：1、資料採集

flume：資料採集與聚合

2、資料清洗

對髒資料進行清洗

spark、hive、mr、或其他

清洗之後可以存放到hdfs（hive、spark sql）

3、資料處理

按照業務邏輯處理資料

spark、hive、mr、或其他

4、處理結果入庫

結果可以存放到rdbms、nosql

5、資料視覺化

圖形化展示，餅圖、柱狀等

echarts、hue、zeppelin

補充：任務的自動化執行需要azkaban等工具做自動化管理。

大資料處理流程主要包括資料收集資料預處理資料儲存資料處理與分析資料展示資料視覺化資料應用等環節，其中資料質量貫穿於整個大資料流程，每乙個資料處理環節都會對大資料質量產生影響作用。通常，乙個好的大資料產品要有大量的資料規模快速的資料處理精確的資料分析與優秀的視覺化圖表以及簡練易懂的結...

大資料處理的流程主要包括以下四個環節採集匯入預處理統計分析挖掘，下面針對這四環節進行簡單闡述。大資料處理之一採集在大資料的採集過程中，其主要特點和挑戰是併發數高，因為同時有可能會有成千上萬的使用者來進行訪問和操作，比如火車票售票和它們併發的訪問量在峰值時達到上百萬，所以需要在採集...