官方介紹：logstash is an open source data collection engine with real-time pipelining capabilities。簡單來說logstash就是一根具備實時資料傳輸能力的管道，負責將資料資訊從管道的輸入端傳輸到管道的輸出端；與此同時這根管道還可以讓你根據自己的需求在中間加上濾網，logstash提供裡很多功能強大的濾網以滿足你的各種應用場景。
logstash是es下的一款開源軟體，它能夠同時 從多個**採集資料、轉換資料,logstash常用於日誌關係系統中做日誌採集裝置；
安裝logstash-input-jdbc
logstash5.x以上版本本身自帶有logstash-input-jdbc，6.x版本本身不帶logstash-input-jdbc外掛程式，需要手動安裝
es 對映
,"grade" : ,"id" : ,"mt" : ,"name" : ,"users" : ,"charge" : ,"valid" : ,"pic" : ,"qq" : ,"price" : ,"price_old" : ,"st" : ,"status" : ,"studymodel" : ,"teachmode" : ,"teachplan" : ,"expires" : ,"pub_time" : ,"start_time" : ,"end_time" :
}}
下列內容對應的是 跟 es 的對映一樣
,
"description" : ,
"end_time" : ,
"expires" : ,
"grade" : ,
"id" : ,
"mt" : ,
"name" : ,
"pic" : ,
"price" : ,
"price_old" : ,
"pub_time" : ,
"qq" : ,
"st" : ,
"start_time" : ,
"status" : ,
"studymodel" : ,
"teachmode" : ,
"teachplan" : ,
"users" : ,
"valid" : }}
},"template" : "xc_course"
}
在logstash的config目錄下配置mysql.conf檔案供logstash使用，logstash會根據mysql.conf檔案的配置的位址從mysql中讀取資料向es中寫入索引。
input
jdbc
}output "
document_type => "doc"
template =>"d:/code/xuecheng/elasticsearch/logstash/logstash-6.2.1/config/xc_course_template.json"
template_name =>"xc_course"
template_overwrite =>"true"
} stdout
}
es採用utc 時區，比北京時間早8小時，所以es讀取資料時讓最後更新時間加8小時
where timestamp > date_add(:sql_last_value,interval 8 hour)
2、logstash每個執行完成會在d:/elasticsearch/logstash-6.2.1/config/logstash_metadata記錄執行時間下次以此時間為基準進行增量同步資料到索引庫。
測試
啟動logstash.bat：
.\logstash.bat ‐f ..\config\mysql.conf
修改資料庫資料
並且修改 timestamp 為當前時間,logstash 才能找到這條資料並更新
在es head 中檢視
logstash遷移ES集群
前言 新機器上新建集群 logstash遷移原es集群資料到目標機器。安裝logstash,新建遷移配置檔案 檢視安裝進度 lsy test tail f wget log 解壓安裝包 lsy test tar zxvf logstash 5.6.1 重新命名 lsy test mv logstas...
Logstash跟es加密通訊
前提條件，es集群內部各節點已開啟https訪問，集群也已開啟x pack安全功能，並設定了系統預設的使用者密碼等，具體操作詳見 方法二 使用 kibana dev tools kibana 開發工具 標籤卡中的 api 建立 post security role logstash write ro...
es 建立索引報錯 ES搜尋引擎基本操作
一.建立索引庫 執行 結果 我已經建立過了，重複執行會報錯 二.建立索引 1.新增索引 2.新增索引 動態新增新列 3.新增指定id的索引 根據id可以直接修改一前的索引 三.搜尋 1.根據id搜尋 2.根據字段搜尋 每乙個 source對應一條索引 3.多條件組合搜尋 query multi ma...