分布式資料庫選型

2021-10-01 19:07:00 字數 1142 閱讀 7561

分布式資料庫也有人稱之為new sql資料庫,主要有兩派:乙個是以google spanner為代表,乙個是以aws auraro為代表。

spanner 是 shared nothing 的架構,內部維護了自動分片、分布式事務、彈性擴充套件能力,資料儲存還是需要 sharding模式,plan 計算也需要涉及多台機器,也就涉及了分布式計算和分布式事務。

同型別的開源產品,有tidb、cockroachdb、oceanbase等;這三個產品可以說目前話題量不相上下,tidb屬於國產pingcap公司的、cockroachdb比tidb早出來一年、oceanbase阿里團隊的,2023年雙11交出4200萬/秒的處理能力。

auraro 是共享儲存型架構,主要思想是計算和儲存分離架構,使用共享儲存技術,這樣就提高了容災和總容量的擴充套件。但是在協議層,只要是不涉及到儲存的部分,本質還是單機例項的 mysql,不涉及分布式儲存和分布式計算,這樣就和 mysql 相容性非常高。

同型別的產品,有國內阿里的polardb,只作為雲產品提供服務,不開源

我覺得並沒有誰比誰高階和落後,share nothing 的架構在單集群更大規模下的使用場景我覺得會更好,而 aurora 的架構更適合雲環境(多租戶 + 更好的相容性)。

我一直認為大規模分布式系統本身是特別脆弱的,架構的先進與否並不重要,甚至某些情況下效能(延遲)都是可以放棄的。普適性、高質量的實現、完備且極端的測試在我看來更加重要。

a、物聯網方向:時序資料庫產品,滿足iot資料的收集、儲存和統計。時序資料庫產品也是現在對記憶體資料庫產品衝擊最大的。例如:influxdb、kudu、kdb、opentsdb;

c、分析關係方向:解決結構化資料儲存和資料分析的業務場景,例如:greenplum、vertical、gbase8a等。不過這塊收到kv分析型產品巨大的衝擊;

d、kv分析方向:hadoop、spark是當下的基石,國內國外較多公司都是在其基礎上再做二次研發,尤其是實現相容sql標準語法,已迎合業務場景和研發人員。

f、htap:交易分析混合型分布式資料庫產品,從技術原理的角度而言這是沒有理論創新支撐的方向,只是我們技術人員內心美好的願望,例如:國內tidb、國外spanner/f1(無人知曉到底長啥樣,體驗如何)。

每種路線都會有自己的特定演算法、特定架構和產品特徵,很難有一款產品能全部相容且效能很棒。

分布式資料庫

網路選課系統中分布式資料庫設計 何翠雙王巧雲張麗麗 摘要 關鍵字 選課 分布式 資料庫 distributed system of on line course choosing abstract key words course choosing distributed database 隨著學校...

分布式資料庫

1 背景 我們知道資料是乙個公司的命脈,隨著業務越做越大,資料量也會越來越大,計算也會越來越複雜,效能,可靠性,可擴充套件性的需求就會越來越強烈,這個時候乙個集中式的資料庫顯然已經滿足不了需求了。對於技術決策者來說有兩條路可以走,第一 按照現有的大型資料庫的解決方案,比如sql server clu...

分布式資料庫

一 分布式資料庫的出現的場景 網際網路 軟體國產化 o2o 五新 新零售 新製造,新金融 新資源 新技術 等主題接連提出來,並且在各個行業落地,給資料庫帶來了巨大機會,具體包含3個方向 1.遠超單機資料庫容量的資料儲存和訪問峰值 2.實時資料分析檢索 oltp兼顧olap 3.更高階別的容災需求。這...