目前，隨著mysql在各個行業的深入使用，在不同資料系統、不同資料中心、不同業務系統之間進行資料傳輸、資料訂閱、形成資料匯流排等需求逐漸增多。愛可生推出的dtle是乙個針對mysql的使用特點、支援多種使用場景的資料傳輸中介軟體。
dtle:
dtle qq群：852990221
dtle是什麼？
dtle是乙個開源的資料傳輸中介軟體，其針對的核心場景如下:
·跨資料中心的資料傳輸：dtle能在資料中心間進行可靠資料傳輸，並提供鏈路壓縮以降低傳輸成本
·雲間資料同步/遷移：dtle能提供在公有雲間架設資料同步通道，以支援資料容災等需求
·資料匯聚：dtle能將多個資料來源匯聚到同乙個資料來源，以提供資料分析/資料轉儲的功能
·資料訂閱：dtle能將資料來源的變更訊息發往kafka等訊息中介軟體，以支援資料訂閱通知/快取失效通知等需求
·跨資料中心的雙向複製：dtle能在資料中心間提供雙向複製通道，以配合業務實現資料雙寫
為什麼要開源？
隨著mysql在各行業的使用場景逐漸成熟，以資料傳輸為基礎的需求逐漸增多。若要設計一款良好的資料傳輸中介軟體，要解決的核心問題是：如何保障質量、適配複雜場景、提供多樣功能。
在2023年10月24日，愛可生開源了mysql分布式中介軟體—dble。時隔一年，dble與社群互動良好，從社群吸納了許多設計經驗和質量反饋，已成為一款成熟的資料庫中介軟體。隨著社群使用者增多，已實現了與社群使用者的雙贏。
愛可生此次開源dtle，是真誠為社群提供mysql生態圈裡乙個可持續發展的工具，並希望與社群再次達成雙贏，解決資料傳輸中介軟體的核心問題。
dtle的設計特點
·分布式架構：dtle在資料傳輸這個基本場景上，使用了成熟的分布式任務排程架構，可以便捷地在集群中配置大量的資料傳輸任務，提供斷點續傳/故障轉移等分布式系統的重要特性
·靈活的網路適配能力：dtle可適配複雜的網路架構，提供跨資料中心的資料通道功能和公有雲間的資料通道功能
·多場景適配：dtle通過組合多個原子任務，可適配複雜的資料傳輸場景
Mysql資料庫中介軟體 kingshard
kingshard是乙個由go開發高效能mysql proxy專案，kingshard在滿足基本的讀寫分離的功能上，致力於簡化mysql分庫分表操作 能夠讓dba通過kingshard輕鬆平滑地實現mysql資料庫擴容。kingshard的效能是直連mysql效能的80 以上。線上使用kingsha...
mysql資料庫中介軟體研究
隨著網際網路的發展，資料量的不斷增大。單台例項已經遠遠無法滿足業務的需要。對資料庫分庫分表的需求不斷的增加隨之而來的就是資料庫中介軟體的開發。一 單台例項主要面臨下面幾個問題 1.資料量太大單台機器無法承載 2.資料查詢效率太低，單錶資料達到一定的量業務效能就無法滿足 3.資料庫優化上的瓶頸 4.資...
開源資料庫中介軟體 MyCat 學習筆記
1 簡介 mycat 曾是阿里開源產品cobar，cobar核心功能和優勢是 mysql 資料庫分片。mycat 是基於cobar 演變而來，對 cobar 的 進行了徹底的重構，使用 nio 重構了網路模組，並且優化了 buffer 核心，增強了聚合，join 等基本特性，同時相容絕大多數資料庫成...