大資料倉儲對業務資料的幾個基本要求
同步業務資料時，需要主鍵和業務更新時間
日誌型資料需要有日誌發生時間
業務資料傳送到訊息佇列，需要帶上主鍵和業務更新時間
同乙個業務輸出不同的資料時候，需要對輸出的資料負責，保證提供的資料的字段、含義等統
一、清晰
資料需要有對接人、負責人，對以上問題進行跟進維護。
如果業務資料沒有主鍵，則在資料彙總時無法對資料進行排重和更新；如果沒有業務更新時間，當資料量很大的時候，無法進行增量同步
為了保證業務的實時發現問題、跟進問題、解決問題，對資料的處理要求：
實時資料1分鐘寫
實時資料查詢粒度：1分鐘、5分鐘、10分鐘、15分鐘、20分鐘、30分鐘、1小時...
離線資料 t+1
基於大資料的資料倉儲 資料倉儲建模基本理論
一 數倉建模的目標 訪問效能 能夠快速查詢所需的資料，減少資料i o。資料成本 減少不必要的資料冗餘，實現計算結果資料復用，降低大資料系統中的儲存成本和計算成本。使用效率 改善使用者應用體驗，提高使用資料的效率。資料質量 改善資料統計口徑的不一致性，減少資料計算錯誤的可能性，提供高質量的 一致的資料...
大資料資料倉儲 場景
2015 10 24 朱潔hadoop技術學習 傳統oltp olap之分 資料倉儲裡面有oltp olap之分，oltp是傳統關係型資料庫的主要應用，其主要面向基本的 日常的事務處理，例如銀行交易。olap是資料倉儲系統的主要應用，支援複雜的分析操作，側重決策支援，並且提供直觀易懂的查詢結果。大資...
資料倉儲 大資料定義
2012年gartner公司將大資料定義為3v，即 大容量 volume 高流速 velocity 多樣化 variety 後來人們在3v基礎上增加新的v veracity 即真實性。現在人們普遍認可的大資料是具有4v，即 volume velocity variety veracity，也就是大 ...