業務互動資料
前端埋點使用者行為資料
業務資料上傳到mysql資料庫中，有些表需要每天進行更新，從業務伺服器上傳的資料每天都會有變化，資料庫就是便於較少資料的增刪改查。最終將資料通過sqoop上傳到hdfs，在用sqoop上傳時，可能執行時間比較長，例如20多張表需要乙個小時才可以完全上傳成功。
埋點的使用者行為資料
儲存在特定的linux目錄中，我設定的是 /tmp/logs 中，啟動flume將logfile上傳到kafka指定的topic中，再啟動flume消費kafka中的資料，並且sink到hdfs的指定目錄。
資料上傳成功之後，再進行資料倉儲的搭建。
資料倉儲設計
資料倉儲簡介 有些人不理解資料倉儲，認為資料倉儲就是獲取資料，只要會使用hadoop spark等大資料工具就懂資料倉儲，這樣的認識太片面。如果要從海量資料中總結出乙個報表或者是多個報表，大資料工程師足以 如果在有限的資源動態的資料情況下，向前可歷史追溯，向後對不斷增加的報表實現相容，這就需要一套科...
資料倉儲之維度建模流程
資料倉儲之維度建模流程 1.確認業務過程 選擇建模的業務過程，比如園區中庫存單元被租賃出去 2.確認粒度 保證維度粒度為最小粒度，保證以後的可擴充套件性，以及向下鑽去的靈活性。特殊說明，除週期性快照表，其他型別的事實表的時間粒度都保持操作性系統中的時間，即明細到時分秒。3.確認維度 也就是確認業務過...
資料倉儲（六） 資料倉儲的概念設計
在資料集市設計中可以使用3種基本的系統方法 資料驅動的方法 需求驅動的方法和混合方法。它們的區別在於源資料庫分析和終端使用者需求分析階段所佔的比重。方法的選擇將極大地影響概念設計的方式。資料驅動方法包括 基於實體 關係模式的設計 基於關係模式的設計 基於xml模式的設計。概念型實體 關係模式比關係型...