logstash
logstash是elastic技術棧中的乙個技術。它是乙個資料採集引擎，可以從資料庫採集資料到es中。我們可以通過設定自增id主鍵或者時間來控制資料的自動同步，這個id或者時間就是用於給logstash進行識別的
安裝logstash
外掛程式 logstash-input-jdbc
本外掛程式用於同步，es6.x起自帶，這個是整合在了 logstash中的。所以直接配置同步資料庫的配置檔案即可
建立索引
同步資料到es中，前提得要有索引，這個需要手動先去建立，名字隨意。比如：foodie-items
logstash同步資料庫配置
input
}output "
}# 日誌輸出
stdout
}
select
i.id as itemid,
i.item_name as itemname,
i.sell_counts as sellcounts,
ii.url as imgurl,
tempspec.price_discount as price,
i.updated_time as updated_time
from
items i
left
join
items_img ii
on i.id = ii.item_id
left
join
(select item_id,
min(price_discount)
as price_discount from items_spec group
by item_id) tempspec
on i.id = tempspec.item_id
where
ii.is_main =
1and
i.updated_time >= :sql_last_value
./logstash -f /usr/local/logstash-6.4.3/sync/logstash-db-sync.confLogstash安裝使用
需求 將log日誌包含api 的內容放入kafka。2017 07 13 18 01 31.619 info 15096 nio 9001 exec 1 c.z.a.t.a.s.impl.serviceimpl eventreportservice haslog api 1.配置正則 在logsta...
Logstash安裝和使用
logstash是開源的伺服器端資料處理管道，能夠同時 從多個 採集資料 轉換資料，然後將資料傳送到您最喜歡的 儲存庫 中。我們的儲存庫當然是 elasticsearch。作用 集中 轉換和儲存資料 bin logstash e input output 輸入 hello world 輸出 logs...
logstash資源包的安裝及使用
第乙個示例logstash將採用標準輸入和標準輸出作為input和output，並且不指定filtertar xzvf logstash.5.2.2.tar.gz 2 cd到logstash的根目錄，並執行啟動命令如下 cd logstash 5.2.2 bin logstash e input o...