冷資料,熱資料,溫資料,冷熱分離?

2021-10-10 19:49:33 字數 375 閱讀 7965

溫資料是非即時的狀態和行為資料,也可以簡單理解為把熱資料和冷資料混在一起就成了溫資料。如果整體資料量不大,也可以不區分溫資料和熱資料。

冷資料是指離線類不經常訪問的資料,用於災難恢復的備份或者因為要遵守法律規定必須保留一段時間,比如企業備份資料、業務與操作日誌資料、話單與統計資料。通常會儲存在效能較低、**較便宜的檔案系統裡,適用於離線分析,比如機器學習中的模型訓練或者大資料分析。

冷熱分離:

熱資料就近計算,冷資料集中儲存

對於熱資料系統,需要重點考慮讀寫的效能問題,諸如mysql、elasticsearch等會成為首選;而對於冷資料系統,則需要重點關注低成本儲存問題,通常會選擇儲存在hdfs或雲物件儲存中,再選擇乙個相應的查詢系統。

資料歸檔,冷熱資料分離

一.關於tokudb引擎 1.tokudb引擎特點 1.高壓縮比,高寫入效能 4.支援索引同步 2.tokudb安裝步驟 1.yum install jemalloc y 2.vim etc my.cnf 新增如下 mysqld safe malloc lib usr lib64 libjemall...

mysql冷熱分離的技術 資料歸檔,冷熱資料分離

一.關於tokudb引擎 1.tokudb引擎特點 2.tokudb安裝步驟 1.yum install jemalloc y 2.vim etc my.cnf 新增如下 mysqld safe malloc lib usr lib64 libjemalloc.so.1 3.echo never s...

雲上如何做冷熱資料分離

隨著業務的發展和持續執行,系統會產生大量的資料,資料的增長伴隨而來的是對資料庫的考驗,在達到一定的資料量之後資料庫的訪問效能就會持續下降,為了系統的穩定執行,得要麼提高資料庫訪問效能,要麼把資料限定在一定的量上。前者會導致it系統的不斷投入,投入產出比不高,且早晚會達到系統的瓶頸,後者需要拋棄舊的資...