離線t+1 需求
一般是根據前一日的資料生成報表等資料，雖然統計指標、報表繁多，但是對時效性不敏感。
實時t+0 需求
主要側重於對當日資料的實時監控，通常業務邏輯相對離線需求簡單一下，統計指標也少一些，但是更注重資料的時效性，以及使用者的互動性。
即席需求
臨時需求，可用即席查詢如impala、presto、 kylin、 druid等
關於日誌埋點 傳送的兩種策略：
① 週期性傳送，把一段時間的日誌，積攢起來，週期性的傳送到後台；對日誌後台收集系統壓力小；非實時
② 直接傳送，時效性非常好，後台收集壓力大；
從專案的日誌中獲取使用者的啟動日誌，如果是當日第一次啟動，納入統計。將統計結果儲存到es中，利用kibana進行分析展示
日誌伺服器 --- kafka --- spark --- hbase
按省份|使用者性別|使用者年齡段，統計當日新增付費使用者首單平均消費及人數佔比；無論是省份名稱、使用者性別、使用者年齡，訂單表中都沒有這些字段，需要訂單（事實表）和維度表（省份、使用者）進行關聯，形
成寬表後將資料寫入到es，通過kibana進行分析以及圖形展示。
以熱門品牌統計為案例
Spark系列 四 整體架構分析
架構流程圖 說明 driver端流程說明 standalone模式 通過反射的方式建立和構造乙個driveractor程序 driver程序 sparkcontext初始化，構造dagscheduler和taskscheduler.每執行到乙個action操作就會建立乙個job,該job會提交到da...
Flume架構與原始碼分析 整體架構
最近在學習flume原始碼，所以想寫乙份flume原始碼學習的筆記供需要的朋友一起學習參考。flume是cloudera公司開源的一款分布式 可靠地進行大量日誌資料採集 聚合和並轉移到儲存中 通過事務機制提供了可靠的訊息傳輸支援，自帶負載均衡機制來支撐水平擴充套件 並且提供了一些預設元件供直接使用。...
需求分析階段的整體流程
首先每個公司會有專門負責需求的人員 需求分析師 ba 產品經理 pm 整理和收集需求給出產品需求文件 prd 測試和開發提前學習產品需求文件 prd 找出其中的問題和存在疑問的點，記錄下來 ba pm組織召開需求評審會議，由他們主導進行需求串講整體需求方案 開發和測試提問，產品經理解答疑問 部分問題...