【背景】
近期基於阿里雲和螞蟻的產品做容災方案,最難處理的是資料,因此整理一下涉及的資料型別,做個學習筆記。不對的地方,持續糾正。
常見的資料儲存型別
阿里雲產品
螞蟻產品
開源產品
說明ots
--hbase
**儲存,列式儲存,hbase在物聯網、車聯網、使用者畫像、物件儲存、ai、feeds、gis等場景有廣泛應用
oss--
hdfs
雲資料庫 redis版
tbase
redis
快取,比如手機連線伺服器的session資訊
雲資料庫 mysql版
oceanbase
mysql
傳統關係型資料庫
slssls
hadoop flume
日誌服務,日誌類資料採集、消費、投遞和查詢分析。用於分析鏈路的效能時,需要用日誌服務來判斷每段鏈路的效能呢。
--sofa registry
zookeeper
註冊中心
slbalb
ngnix
負載均衡,其中alb只支援7層負載,slb和ngnix支援4層和7層。實際專案中,還會用到物理負載裝置f5.
elasticsearch
zsearch
elasticsearch
用於海量多格式日誌搜尋和分析
雲資料庫 memcached
ocs--
memcache
儲存**使用者登入session。感覺和redis很相似。
儲存登陸cookies,容災切換時會發生再次登陸請求
分析資料庫服務
ads--
hadoop hive
資料倉儲,主要用於離線分析做報表,毫秒級針對萬億級資料進行多維分析。
www.aliyun.com
tech.antfin.com
容災設計學習筆記
容災設計學習筆記 一 邏輯層容災 邏輯層服務一般都設計從無狀態服務,客戶端當前請求和下次請求在邏輯層沒有任何的關聯,因此客戶端可以在在多次請求中分別到不同的機器上,而返回的結果和一直在同一臺機器上一樣。由於這種特性的存在使得邏輯層可以通過多級備份來實現容災。備份可以有 主備 1 1 一主多備 1 n...
為資料安全而生,阿里雲容災備份方案場景實踐解析
數字經濟時代,資料正以超出想象的速度快速增長。短短幾年,資料量已經從tb級別躍公升到pb乃至zb級別。根據相關研究機構調查結果顯示,2017 年全年資料總量將超過15.2zb,同比增長35.7 到2018 年全球資料總量達19.4zb。未來幾年全球資料的增長速度在每年25 以上,預計到2020年,全...
為資料安全而生,阿里雲容災備份方案場景實踐解析
數字經濟時代,資料正以超出想象的速度快速增長。短短幾年,資料量已經從tb級別躍公升到pb乃至zb級別。根據相關研究機構調查結果顯示,2017 年全年資料總量將超過15.2zb,同比增長35.7 到2018 年全球資料總量達19.4zb。未來幾年全球資料的增長速度在每年25 以上,預計到2020年,全...