安裝與es版本的相同的logstash，例：es版本為6.2.1，那麼logstash的版本需保持一致。
解壓安裝，結業完成後的目錄如下：
驗證ruby是否安裝成功：ruby -v安裝logstash-input-jdbc外掛程式，注意進入logstash的bin目錄，執行下列命令
.\logstash-plugin.bat install logstash-input-jdbc安裝完成後配置相關檔案
進入logstash的安裝目錄下的config目錄，新建配置檔案mysql.conf（名稱自己隨便起），配置檔案內容如下：
inputjdbc
} output
elasticsearch "
}}配置完成後，進入bin目錄，完成啟動。
logstash -f ..\config\mysql.conf
啟動成功如下
當控制台列印相應資料的記錄表示同步成功，然後通過head外掛程式檢視
最後期間我自身由於資料的乙個時間字段不是date型別，導致失敗，後面更新資料庫欄位的型別即可
記一次Kafka 消費 轉存 ES
前提 流程是消費kafka資料，處理後存入es 基礎引數 es 個節點 索引20個分片 個副本 2 kafka 3個節點，12個 分割槽 出現的問題有 1 多執行緒消費kafka，無限重新分配rebalance，消費異常，資料無法消費處理至es 實際情況 1 當資料量達到20億條後 doc總大小已超...
一次es遷移
在開發乙個專案中，有大量的需要處理，並能夠進行搜尋。於是，在es中建立兩個索引，raw和labeled，raw存放爬蟲獲取的原始，暫時是運營人員來給這些未經篩選的打上標記，後續會引導產品的使用者去給標記。標記後將進入labeled索引，後續的搜素主要圍繞labeled來展開。在開發時，將es搭建在單...
記一次除錯
這是我最近幾個月來遇到的最棘手的乙個問題 昨天花了4個小時找出第一層次的原因 這個糾結啊，本來和老婆說好準時下班回家吃飯的，結果被這個問題拖了老久。這是乙個gradle的plugin，用來resolve公司內部的dependency的，弄完了跑測試專案的，拋乙個npe，而且npe還不在自己的 裡面。...