inputjdbc
#使用其它字段追蹤,而不是用時間
use_column_value => true
#追蹤的字段
tracking_column => id
record_last_run => true
#上乙個sql_last_value值的存放檔案路徑, 必須要在檔案中指定欄位的初始值
last_run_metadata_path => "g:\developer\elasticsearch5.5.1\es5\logstash-5.5.1\bin\mysql\station_parameter.txt"
#開啟分頁查詢
jdbc_paging_enabled => true
jdbc_page_size => 300
# 執行的sql 檔案路徑+名稱
statement_filepath => "g:\developer\elasticsearch5.5.1\es5\logstash-5.5.1\bin\mysql\jdbc.sql"
# 設定監聽間隔 各欄位含義(由左至右)分、時、天、月、年,全部為*預設含義為每分鐘都更新
schedule => "* * * * *"
# 索引型別
type => "jdbc"
}}filter
}output "
}stdout
}
logstash資料遷移
logstash是乙個非常強大的資料遷移工具。這裡主要記錄今天使用到的幾個簡單用法。首先配置 conf檔案。1 elasticsearch遷移到elasticsearch input filter output 2 es儲存到file input filter output 儲存json檔案中資料像...
binlog增量資料代替Dump DB增量解決方案
背景介紹 試用報告資料在db底層打通評價資料,報告資料就分散到評價的32個資料庫,2048張表裡。因為基本的業務需求是打通資料並且將報告接入搜尋。為了考慮業務靈活性,選擇終搜平台來完成報告的全量和增量。全量模組通過tsearch 基於評價以及ic的雲梯表,join做的全量dump。因為增量通過sql...
增量資料抽取
a.觸發器 在要抽取的表上建立需要的觸發器,一般要建立插入 修改 刪除三個觸發器,每當源表中的資料發生變化,就被相應的觸發器將變化的資料寫入乙個臨時表,抽取執行緒從臨時表中抽取資料,臨時表中抽取過的資料被標記或刪除。觸發器方式的優點是資料抽取的效能較高,缺點是要求業務表建立觸發器,對業務系統有一定的...