無邊界資料(流資料):
無邊界資料是一種不斷增長,沒有邊界的資料集合,這類資料無法判斷何時終止,也稱為流資料,如:電商交易資料,pm2.5檢測等等。
特點:
資料快速持續到達,潛在大小也許是無窮無盡的
資料**眾多,格式複雜
資料量大,但是不十分關注儲存,一旦經過處理,要麼被丟棄,要麼被歸檔儲存
注重資料的整體價值,不過分關注個別資料
資料順序顛倒,或者不完整,系統無法控制將要處理的新到達的資料元素的順序
有邊界資料(靜態資料):
這種資料更常見於已經儲存好了的資料中。例如,資料庫中的資料,或者是我們常見的 csv 格式檔案中的資料。
其實,在一定程度上,有邊界資料可以看作是無邊界資料的乙個子集。
大資料Flume資料流監控
2 操作 flume 測試監控 ganglia 由 gmond gmetad 和 gweb 三部分組成。gmond ganglia monitoring daemon 是一種輕量級服務,安裝在每台需要收集指標資料的節點主機上。使用 gmond,你可以很容易收集很多系統指標資料,如 cpu 記憶體 磁...
雲無邊界,阿里雲混合雲資料同步發布
針對不同資料庫間資料實時同步難的問題,日前,阿里雲宣布推出混合雲資料同步一站式解決方案,便於廣大雲產品使用者實現實時資料同步的混合雲支援,更為方便的是,該功能讓本地oracle也能實現與雲上資料庫的實時同步。目前,很多使用者有云下或其他廠商的oracle mysql到阿里雲rds或ecs自建資料庫間...
雲無邊界,阿里雲混合雲資料同步發布
摘要 針對不同資料庫間資料實時同步難的問題,日前,阿里雲宣布推出混合雲資料同步一站式解決方案,便於廣大雲產品使用者實現實時資料同步的混合雲支援,更為方便的是,該功能讓本地oracle也能實現與雲上資料庫的實時同步。針對不同資料庫間資料實時同步難的問題,日前,阿里雲宣布推出混合雲資料同步一站式解決方案...