大資料的原理

目前圍繞hadoop體系的大資料架構包括：

傳統大資料架構

資料分析的業務沒有發生任何變化，但是因為資料量、效能等問題導致系統無法正常使用，需要進行公升級改造，那麼此類架構便是為了解決這個問題。依然保留了etl的動作，將資料經過etl動作進入資料儲存。資料分析需求依舊以bi場景為主，但是因為資料量、效能等問題無法滿足日常使用。

流式架構

在傳統大資料架構的基礎上，流式架構資料全程以流的形式處理，在資料接入端將etl替換為資料通道。經過流處理加工後的資料，以訊息的形式直接推送給了消費者。儲存部分在外圍系統以視窗的形式進行儲存。適用於預警、監控、對資料有有效期要求的情況。

lambda架構

lambda架構算大資料系統裡面舉足輕重的架構，資料通道分為兩條分支：實時流和離線。實時流依照流式架構，保障了其實時性，而離線則以批處理方式為主，保障了最終一致性。適用於同時存在實時和離線需求的情況。

unifield架構

unifield架構將機器學習和資料處理揉為一體，在流處理層新增了機器學習層。資料在經過資料通道進入資料湖後，新增了模型訓練部分，並且將其在流式層進行使用。同時流式層不單使用模型，也包含著對模型的持續訓練。適用於有著大量資料需要分析，同時對機器學習方便又有著非常大的需求或者有規劃的情況。