docker logstash7 x 增量更新

2021-10-12 10:33:26 字數 1913 閱讀 7051

流程:爬一些豆瓣讀書的資料到 mysql 中,再使用 logstash 傳輸到 elasticsearch 中

爬蟲**:

es安裝:

kibana安裝:

ps:統一 es 、kibana 和 logstash 的版本

docker run -d --name=logstash logstash:7.6.2
docker cp logstash:/usr/share/logstash/config/ /tools/dockerdata/logstash/

docker cp logstash:/usr/share/logstash/pipeline/ /tools/dockerdata/logstash/

docker cp logstash:/usr/share/logstash/logstash-core/lib/jars/ /tools/dockerdata/logstash/

/tools/dockerdata/logstash/jars
vim /tools/dockerdata/logstash/pipeline/logstash.conf
input 

#是否需要記錄某個column 的值,如果 record_last_run 為真,可以自定義我們需要表的欄位名稱,

#此時該引數就要為 true. 否則預設 track 的是 timestamp 的值.

use_column_value => true

#是否清除 last_run_metadata_path 的記錄,如果為真那麼每次都相當於從頭開始查詢所有的資料庫記錄

clean_run => false

#定時任務,預設一分鐘

schedule => "*/10 * * * * *"

# 你要執行的語句

statement => "select * from books where inputtime > :sql_last_value and inputtime < now() order by inputtime desc;"

}}filter

}output "

}}

ps:記得開啟 es 服務

修改檔案許可權:

chmod -r 775 /tools/dockerdata/logstash/
啟動 logstash:

docker run -d \

-e tz=asia/shanghai --privileged=true --network=host \

-m=1g --memory-swap=1g \

-v /tools/dockerdata/logstash/config/:/usr/share/logstash/config/ \

-v /tools/dockerdata/logstash/pipeline/:/usr/share/logstash/pipeline/ \

-v /tools/dockerdata/logstash/jars/:/usr/share/logstash/logstash-core/lib/jars/ \

--name=logstash \

logstash:7.6.2

訪問 kibana 檢視效果:

logstash日誌:

kibana使用手冊之index pattern:

第7章 函式 7

7.7 類的成員函式 函式原型必須在類中定義。但是,函式體則既可以在類中也可以在類外定義。7.7.1 定義成員函式的函式體 類的所有成員都必須在類定義的花括號裡面宣告,此後,就不能再為類增加任何成員。類的成員函式必須加宣告的一般定義。類的成員函式既可以在類的定義內也可以在類的定義外定義。編譯器隱式地...

7 centos7 使用者管理

useradd meng如果建立使用者時沒有指定屬於哪個組,則缺省會建立乙個名字與使用者相同的組並歸屬於此組 對應的home目錄下回建立乙個meng的資料夾 passwd meng 之後會提示輸入密碼 userdel meng 刪除使用者,會保留home檔案 userdel r meng 刪除使用者...

win7安裝centos7,win7不能引導

1.在用u盤安裝過程中,在進入安裝介面,按tab鍵修改 vmlinuz initrd initrd.img inst.stage2 hd label centos x207 x20x86 64 rd.live.check quiet 改為 vmlinuz initrd initrd.img inst...