kafka JDBC源聯結器配置

2021-10-03 12:37:20 字數 1677 閱讀 5979

源聯結器支援複製具有多種jdbc資料型別的表,動態地從資料庫中新增和刪除表,白名單和黑名單,不同的輪詢間隔以及其他設定。但是,對於大多數使用者而言,最重要的功能是用於控制如何從資料庫增量複製資料的設定。

kafka connect跟蹤從每個表中檢索到的最新記錄,因此它可以在下一次迭代時(或發生崩潰的情況下)從正確的位置開始。源聯結器使用此功能在每次迭代時僅從表(或從自定義查詢的輸出)獲取更新的行。支援多種模式,每種模式在檢測已修改行的方式上都不同。

每種增量查詢模式都為每一行跟蹤一組列,用於跟蹤已處理的行以及哪些行是新的或已更新的行。該mode設定控制此行為,並支援以下選項:

對於使用時間戳的增量查詢模式,源聯結器將使用一種配置 timestamp.delay.interval.ms來控制在將包含特定時間戳的行出現之後再將其包括在結果中之前的等待時間。額外的等待時間允許完成帶有較早時間戳記的事務,並將相關更改包括在結果中。有關更多資訊,請參見配置屬性。

源聯結器使您可以靈活地從中匯入資料的資料庫以及如何匯入資料的靈活性。

預設配置中僅有sqlite的聯結器配置,以下為mysql源聯結器配置:

使用白名單將更改限制在mysql資料庫表的子集中,使用id和 modified列在所有列入白名單的表上的標準列來檢測已修改的行。此模式最可靠,因為它可以將唯一的,不可變的行id與修改時間戳相結合,以確保即使在增量更新查詢過程中過程終止,也不會丟失修改。

name=mysql-whitelist-timestamp-source

connector.class=io.confluent.connect.jdbc.jdbcsourceconnector

tasks.max=10

connection.url=jdbc:mysql:

table.whitelist=users,products,transactions

mode=timestamp+incrementing

timestamp.column.name=modified

incrementing.column.name=id

topic.prefix=mysql-

使用自定義查詢而不是載入表,從而允許您從多個表聯接資料。只要查詢不包括自己的過濾,您仍可以對增量查詢使用內建模式(在這種情況下,使用時間戳列)。請注意,這將您限制為每個聯結器只有乙個輸出,並且由於沒有表名,因此在這種情況下,主題「字首」實際上是完整的主題名稱。

name=mysql-whitelist-timestamp-source

connector.class=io.confluent.connect.jdbc.jdbcsourceconnector

tasks.max=10

connection.url=jdbc:mysql:

query=select users.id, users.name, transactions.timestamp, transactions.user_id, transactions.payment

from users join transactions on (users.id = transactions.user_id)

mode=timestamp

timestamp.column.name=timestamp

topic.prefix=mysql-joined-data

MySQL聯結器原理 mysql 聯結器

mysql 的聯結器是msyql server層的第乙個模組。當我們用mysql 客戶端來連線mysql伺服器的時候,處理這個連線請求的就是聯結器模組。mysql客戶端和伺服器端的連線使用的是tcp協議,在完成tcp握手之後,聯結器開始進行身份認證。如果使用者名稱或密碼不對,那麼聯結器會丟擲乙個 a...

如何區別FFC聯結器和FPC聯結器

接器領域中,ffc聯結器和fpc聯結器常常讓人混淆。雖然兩者都是柔性電纜聯結器,但是ffc聯結器以及fpc聯結器還是有一定程度上的區別。柔性扁平電纜 flexible flat cable 聯結器,fpc是柔性印製線路 flexible print circuit 兩者的製造上來講,他們線路形成的方...

聯結器的作用

聯結器又稱接外掛程式,主要是在電子產品 電力裝置中提供方便的電氣插拔式連線,廣泛地應用於電子裝置當中,使得電子產品的生產 維修效率得以極大提高。由於大量採用插拔式連線,其連線的可靠性 接觸點電阻的大小對於產品的質量來說就越來越重要,因此必須對所採用的聯結器的效能進行全面的了解,以便合理正確地使用聯結...