基於Redis的偽流式計算統計PV

2021-07-29 06:38:29 字數 402 閱讀 2105

在沒有storm/spark streaming等基礎流式計算框架的時候,利用現有的redis框架,參照流式計算的原理,實現偽流式計算。

step1 活動頁面詳情的介面,每呼叫一次,發非同步事件給監聽者。

step2

非同步事件監聽者呼叫redis的set & inc方法,累加當前小時pv量。

step3 job將redis中的瀏覽量同步落地到db中,同時將非當前小時的redis key的值置為0。

是在沒有流式計算框架下的無奈選擇。

另外,由於前台有一些非同步重新整理的機制,後台服務幾次呼叫才能計算到一次pv,所以後台統計的值往往比前台埋點統計的值要大一些。

流式計算的特點

1 實時性。流式大資料不僅是實時產生的,也是要求實時給出反饋結果。系統要有快速響應能力,在短時間內體現出資料的價值,超過有效時間後資料的價值就會迅速降低。2 突發性。資料的流入速率和順序並不確定,甚至會有較大的差異。這要求系統要有較高的吞吐量,能快速處理大資料流量。3 易失性。由於資料量的巨大和其價...

stream流式計算的妙用

有了stream流式計算,結合著函式式介面和鏈式呼叫,對於資料的處理變得更加簡單,同時增強可讀性。比如我們有乙個user類 data allargsconstructor noargsconstructor public class user 然後有一些user物件 user user1 newus...

基於C的流式檔案操作 FILE

這種檔案操作有乙個重要的結構 file file這個結構包含了檔案操作的基本屬性,對檔案的操作都要通過這個結構的指標來進行。接下來介紹這種操作的一些常用函式。fopen fopen的原型是 file fopen const char filename,const char mode 引數filena...