大資料 無邊界資料和有邊界資料,流資料和靜態資料

2021-10-10 05:38:28 字數 447 閱讀 5548

無邊界資料(流資料):

無邊界資料是一種不斷增長,沒有邊界的資料集合,這類資料無法判斷何時終止,也稱為流資料,如:電商交易資料,pm2.5檢測等等。

特點:

資料快速持續到達,潛在大小也許是無窮無盡的

資料**眾多,格式複雜

資料量大,但是不十分關注儲存,一旦經過處理,要麼被丟棄,要麼被歸檔儲存

注重資料的整體價值,不過分關注個別資料

資料順序顛倒,或者不完整,系統無法控制將要處理的新到達的資料元素的順序

有邊界資料(靜態資料):

這種資料更常見於已經儲存好了的資料中。例如,資料庫中的資料,或者是我們常見的 csv 格式檔案中的資料。

其實,在一定程度上,有邊界資料可以看作是無邊界資料的乙個子集。

大資料Flume資料流監控

2 操作 flume 測試監控 ganglia 由 gmond gmetad 和 gweb 三部分組成。gmond ganglia monitoring daemon 是一種輕量級服務,安裝在每台需要收集指標資料的節點主機上。使用 gmond,你可以很容易收集很多系統指標資料,如 cpu 記憶體 磁...

雲無邊界,阿里雲混合雲資料同步發布

針對不同資料庫間資料實時同步難的問題,日前,阿里雲宣布推出混合雲資料同步一站式解決方案,便於廣大雲產品使用者實現實時資料同步的混合雲支援,更為方便的是,該功能讓本地oracle也能實現與雲上資料庫的實時同步。目前,很多使用者有云下或其他廠商的oracle mysql到阿里雲rds或ecs自建資料庫間...

雲無邊界,阿里雲混合雲資料同步發布

摘要 針對不同資料庫間資料實時同步難的問題,日前,阿里雲宣布推出混合雲資料同步一站式解決方案,便於廣大雲產品使用者實現實時資料同步的混合雲支援,更為方便的是,該功能讓本地oracle也能實現與雲上資料庫的實時同步。針對不同資料庫間資料實時同步難的問題,日前,阿里雲宣布推出混合雲資料同步一站式解決方案...