總結 MyCat分布式資料庫中介軟體

2021-08-27 22:37:14 字數 3609 閱讀 6787

1,資料庫概述

聯機分析處理(olap:

on-line analytical processing

是指通過多維的方式對資料進行分析、查詢和報表,可以同資料探勘工具、統計分析工具配合使用,增強

決策分析功能

針對上面兩類系統有多種技術實現方案,儲存部分的資料庫主要分為兩大類:關係型資料庫nosql資料庫

關係型資料庫

,是建立在關係模型基礎上的資料庫,其借助於集合代數等數學概念和方法來處理資料庫中的資料

特點優點

缺點nosql資料庫

,全稱為not only sql,意思就是適用關係型資料庫的時候就使用關係型資料庫,不適用的時候也沒有必要非使用

關係型資料庫不可,可以考慮使用更加合適的資料儲存

特點優點

缺點2,mycat概述

工程師

架構師

原理

應用場景

單純的讀寫分離,此時配置最為簡單,支援讀寫分離主從切換

分表分庫,對於超過1000萬的表進行分片,最大支援1000億的單錶分片

多租戶應用,每個應用乙個庫,但應用程式只連線mycat,從而不改造程式本身,實現多租戶化

報表系統,借助於mycat的分表能力,處理大規模報表的統計

替代hbase,分析大資料

作為海量資料實時查詢的一種簡單有效方案,比如100億條頻繁查詢的記錄需要在3秒內查詢出來結果,除了基於主鍵的查

詢,還可能存在範圍查詢或其他屬性查詢,此時mycat可能是最簡單有效的選擇

3,mycat概念

邏輯庫

邏輯表

邏輯表分片表非分片表er表全域性表對於這類的表,在分片的情況下,當業務表因為規模而進行分片以後,業務表與這些附屬的字典表之間的關聯,就成了比較棘手

的問題,所以mycat中通過資料冗餘來解決這類表的join,即所有的分片都有乙份資料的拷貝,所有將字典表或者符合字典表特

性的一些表定義為

全域性表資料冗餘

是解決跨分片資料join的一種很好的思路,也是資料切分規劃的另外一條重要規則

分片節點

分片節點(datanode)節點主機(datahost)分片規則(rule)全域性序列號(sequence)多租戶

多租戶技術

或稱多重租賃技術

,是一種軟體架構技術,它是在**與實現如何於多使用者的環境下共用相同的系統或程式元件,並

且仍可確保各使用者間資料的隔離性

4,mycat使用

table標籤

datanode標籤

datahost

server.xml

rule.xml

function標籤

表關聯問題(表join)

join概述全域性表全域性表特性

er joinshare joincatlet(人工智慧)mycat分片規則

概述主鍵分片vs非主鍵分片

mycat常用分片規則

固定分片hash演算法

求模

按日期(天)分片

取模範圍約束

ascii碼求模範圍約束

字串hash解析

一致性hash

按單月小時拆分

自然月分片

5,mycat高階功能

主從複製問題

基於行的複製 rbr

缺點

基於sql語句的複製 sbr

缺點

mycat主從複製

高可用和集群

mysql高可用幾種方案

mysql cluster

heartbeat + 雙主複製

heartbeat + drbd + mysql

lvs + keeplived + 雙主複製

mariadb galera

mycat高可用方案

事務支援

mycat支援的事務

xa

兩階段提交方式來管理分布式事務 )事務

xa事務和mysql的侷限

mycat-web

對server端進行管理與監控

mycat-web 資料庫連線設計:採用了基於**方式向spring ioc中註冊乙個datasource。因此他能管理你所有的mycat、

mysql服務

mycat-web監控:由開源的jrds實現。目前已經實現了mycat、mysql效能監控(jdbc連線獲取)、mycat的jvm記憶體、執行緒的監

控(通過jmx獲取),mycat,mysql所在作業系統的cpu、記憶體、磁碟、網路的監控。(通過snmp協議獲取)

6,mycat生產案例

7,mycat原理分析

分布式資料庫中介軟體對比總結

摘要 目前資料庫中介軟體有很多,基本這些中介軟體在下都有了解和使用,各種中介軟體優缺點及使用場景也都有些心的。所以總結乙個關於中介軟體比較的系列,希望可以對大家有幫助。目前資料庫中介軟體有很多,基本這些中介軟體在下都有了解和使用,各種中介軟體優缺點及使用場景也都有些心的。所以總結乙個關於中介軟體比較...

分布式資料庫中介軟體對比總結

目前資料庫中介軟體有很多,基本這些中介軟體在下都有了解和使用,各種中介軟體優缺點及使用場景也都有些心的。所以總結乙個關於中介軟體比較的系列,希望可以對大家有幫助。傳統的架構模式就是 應用連線資料庫直接對資料進行訪問,這種架構特點就是簡單方便。但是隨著目前資料量不斷的增大我們就遇到了問題 當面臨以上問...

分布式資料庫中介軟體對比總結

分布式資料庫中介軟體對比總結 分布式資料庫中介軟體對比總結 1 目前資料庫中介軟體有很多,基本這些中介軟體在下都有了解和使用,各種中介軟體優缺點及使用場景也都有些心的。所以總結乙個關於中介軟體比較的系列,希望可以對大家有幫助。什麼是中介軟體 傳統的架構模式就是 應用連線資料庫直接對資料進行訪問,這種...