學習筆記 容災場景下涉及常見的資料型別

2021-09-29 02:12:39 字數 960 閱讀 5719

【背景】

近期基於阿里雲和螞蟻的產品做容災方案,最難處理的是資料,因此整理一下涉及的資料型別,做個學習筆記。不對的地方,持續糾正。

常見的資料儲存型別

阿里雲產品

螞蟻產品

開源產品

說明ots

--hbase

**儲存,列式儲存,hbase在物聯網、車聯網、使用者畫像、物件儲存、ai、feeds、gis等場景有廣泛應用

oss--

hdfs

雲資料庫 redis版

tbase

redis

快取,比如手機連線伺服器的session資訊

雲資料庫 mysql版

oceanbase

mysql

傳統關係型資料庫

slssls

hadoop flume

日誌服務,日誌類資料採集、消費、投遞和查詢分析。用於分析鏈路的效能時,需要用日誌服務來判斷每段鏈路的效能呢。

--sofa registry

zookeeper

註冊中心 

slbalb

ngnix

負載均衡,其中alb只支援7層負載,slb和ngnix支援4層和7層。實際專案中,還會用到物理負載裝置f5.

elasticsearch

zsearch

elasticsearch

用於海量多格式日誌搜尋和分析

雲資料庫 memcached

ocs--

memcache

儲存**使用者登入session。感覺和redis很相似。

儲存登陸cookies,容災切換時會發生再次登陸請求

分析資料庫服務

ads--

hadoop hive

資料倉儲,主要用於離線分析做報表,毫秒級針對萬億級資料進行多維分析。

www.aliyun.com

tech.antfin.com

容災設計學習筆記

容災設計學習筆記 一 邏輯層容災 邏輯層服務一般都設計從無狀態服務,客戶端當前請求和下次請求在邏輯層沒有任何的關聯,因此客戶端可以在在多次請求中分別到不同的機器上,而返回的結果和一直在同一臺機器上一樣。由於這種特性的存在使得邏輯層可以通過多級備份來實現容災。備份可以有 主備 1 1 一主多備 1 n...

為資料安全而生,阿里雲容災備份方案場景實踐解析

數字經濟時代,資料正以超出想象的速度快速增長。短短幾年,資料量已經從tb級別躍公升到pb乃至zb級別。根據相關研究機構調查結果顯示,2017 年全年資料總量將超過15.2zb,同比增長35.7 到2018 年全球資料總量達19.4zb。未來幾年全球資料的增長速度在每年25 以上,預計到2020年,全...

為資料安全而生,阿里雲容災備份方案場景實踐解析

數字經濟時代,資料正以超出想象的速度快速增長。短短幾年,資料量已經從tb級別躍公升到pb乃至zb級別。根據相關研究機構調查結果顯示,2017 年全年資料總量將超過15.2zb,同比增長35.7 到2018 年全球資料總量達19.4zb。未來幾年全球資料的增長速度在每年25 以上,預計到2020年,全...