問題： 生產過程資料主要存放在mes系統中，例如訂單的最新生產情況，產量資料，問題lot情況等。對於大資料分析，業務部門希望可以基於及時的資料進行分析展示。
但是mes系統的資料不僅包含僅有insert的歷史資料表，同時有很多包含insert/update/delete的事務表。如何將這些資料載入到大資料平台？
方案一：
分兩種情況處理，
1. 對於那些只有inert的歷史資料表，按照批處理方式，定時轉入到data_lake中的raw layer和certfiied layer
2. 對於那些實時會變的資料表，按照實時方式處理，直接進入到data_hub
方案二：
關係型資料庫 非關係型資料庫
關係型資料庫，是指採用了關係模型來組織資料的資料庫。關係模型是在1970年由ibm的研究員e.f.codd博士首先提出的，在之後的幾十年中，關係模型的概念得到了充分的發展並逐漸成為主流資料庫結構的主流模型。簡單來說，關係模型指的就是二維 模型，而乙個關係型資料庫就是由二維表及其之間的聯絡所組成的乙個...
關係型資料庫 非關係型資料庫
2019 02 25 20 38 36 關係型資料庫和非關係型資料的比較 一 關係型資料庫 關係型資料庫最典型的資料結構是表，由二維表及其之間的聯絡所組成的乙個資料組織 優點 1 易於維護 都是使用表結構，格式一致 2 使用方便 sql語言通用，可用於複雜查詢 3 複雜操作 支援sql，可用於乙個表...
關係型資料庫與非關係型資料庫
關係型資料庫與非關係型資料庫的區別 非關係型資料庫的優勢 1.效能 nosql是基於鍵值對的，可以想象成表中的主鍵和值的對應關係，而且不需要經過sql層的解析，所以效能非常高。2.可擴充套件性 同樣也是因為基於鍵值對，資料之間沒有耦合性，所以非常容易水平擴充套件。關係型資料庫的優勢 1.複雜查詢 可...