時間序列統計總結:
1.時間序列可以簡單通過以時間視窗為key的聚合,比如10秒為乙個時間視窗,那10秒發生的所有事件都聚合為乙個。
2.以某個維度做聚合,維度資訊可以記錄下來。比如以時間+ip為維度進行聚合,ip是可以儲存的。
4.如果乙個維度只聚合不需要按照條件進行查詢,可以不新建維度。舉個例子,pv和http_code,之前的方案是新增http_code這種維度:
|h- 200|12:00|[,]|
|h- 301|12:00|[,]|
|h- 500|12:00|[,]|
另外一種更簡單的實現:
|p|12:00|[,]|,通過values為每種維度分別統計count數,可以看到這種實現更簡單,儲存資料量更少。
1. pv
時間序列:
|p|12:00|[,]|
|p|13:00|[,]|
總量:時間範圍內的sum(count)
查詢:query= 'p',filter= date:[1389776400 to 1389776400], order by date
|p-detail site |12:00|[,]|
查詢detail-site:query='p-detail and site',filter= date:[1389776400 to 1389776400], order by date
查詢detail-all:query='p-detail',filter= date:[1389776400 to 1389776400], order by date
2)pv-code(查詢出來之後分析每種code佔比)
|h- 200|12:00|[,]|
|h- 301|12:00|[,]|
|h- 500|12:00|[,]|
查詢200:query='h- and 200',filter= date:[1389776400 to 1389776400], order by date
查詢500:query='h- and 500',filter= date:[1389776400 to 1389776400], order by date
3)pv-anonymous(匿名/非匿名)
|p-a|12:00|[,]|
|p-ua|12:00|[,]|
|p-a|13:00|[,]|
|p-ua|13:00|[,]|
|p-site|12:00|[,]|
|p-site|13:00|[,]|
5)pv(ip-->page)(ip資料量很大導致維度很大(ip*page種維度),解決方案: 可以過濾build,不是所有page都有必要,關鍵page:site,login,add。轉換為sql可以理解為where page=? group by ip)
|p-ip1-login|12:00|[,]|
|p-ip2-login|12:00|[,]|
6) pv-backend
|p-s1|12:00|[,]|
|p-s2|12:00|[,]|
|p-s3|12:00|[,]|
補充:|p-login-site|12:00|[,]|
發圖ip位址聚合(1小時)
1. ip數,只是aggregation演算法不同
時間序列:
|u|12:00|[,]|
|u|13:00|[,]|
總量:時間範圍內的sum(count)
維度彙總
0. 首頁
1. 業務page(例:**,移動,login,reg的曲線)
2. backend(例:s1,s8的曲線)
3. httpcode(例:200,500的曲線)
4. 匿名(例:匿名/非匿名的曲線)
資料模型
|10:00|g|[10:[400,150,100,10]]|
|10:00|p 200|[10:[200,150,100,10]]|
|10:00|p 500|[10:[200,150,100,10]]|
實現總結:
identifie-metric1,metric2,metricn timestamp value
首頁:g (pv,uv,ip)
業務:b
匿名: a
例子:b-login s1 200 site
b-login s2 200 site
統計 Oracle按照時間統計總結
統計 oracle按天統計 詳細 統計 oracle按周統計 詳細 統計 oracle按月統計 詳細 統計 oracle按季度統計 詳細 統計 oracle按年統計 詳細 看了我上面發的幾篇文章,我們很容易的就能發現乙個規律。按照時間統計也是有規律的.大家發現了有什麼不同之處嗎?按天統計 selec...
統計 Oracle按照時間統計總結
統計 oracle按天統計 詳細 統計 oracle按周統計 詳細 統計 oracle按月統計 詳細 統計 oracle按季度統計 詳細 統計 oracle按年統計 詳細 看了我上面發的幾篇文章,我們很容易的就能發現乙個規律。按照時間統計也是有規律的.大家發現了有什麼不同之處嗎?按天統計 selec...
時間序列簡單總結
今天看了一下唐宇迪的時間序列分析,對時間序列有了初步的認識。首先時間序列即以時間未變化 x軸 的一系列資料。這個資料可能變化的情況非常劇烈,所以不便於分析,我們希望它能反應出穩定的變化趨勢,這時候便有了arima模型,這個模型主要反映的還是資料的以時間為橫軸的差分變化情況,一階差分即將t時刻資料值減...