流程:爬一些豆瓣讀書的資料到 mysql 中,再使用 logstash 傳輸到 elasticsearch 中
爬蟲**:
es安裝:
kibana安裝:
ps:統一 es 、kibana 和 logstash 的版本
docker run -d --name=logstash logstash:7.6.2
docker cp logstash:/usr/share/logstash/config/ /tools/dockerdata/logstash/
docker cp logstash:/usr/share/logstash/pipeline/ /tools/dockerdata/logstash/
docker cp logstash:/usr/share/logstash/logstash-core/lib/jars/ /tools/dockerdata/logstash/
/tools/dockerdata/logstash/jars
vim /tools/dockerdata/logstash/pipeline/logstash.conf
input
#是否需要記錄某個column 的值,如果 record_last_run 為真,可以自定義我們需要表的欄位名稱,
#此時該引數就要為 true. 否則預設 track 的是 timestamp 的值.
use_column_value => true
#是否清除 last_run_metadata_path 的記錄,如果為真那麼每次都相當於從頭開始查詢所有的資料庫記錄
clean_run => false
#定時任務,預設一分鐘
schedule => "*/10 * * * * *"
# 你要執行的語句
statement => "select * from books where inputtime > :sql_last_value and inputtime < now() order by inputtime desc;"
}}filter
}output "
}}
ps:記得開啟 es 服務
修改檔案許可權:
chmod -r 775 /tools/dockerdata/logstash/
啟動 logstash:
docker run -d \
-e tz=asia/shanghai --privileged=true --network=host \
-m=1g --memory-swap=1g \
-v /tools/dockerdata/logstash/config/:/usr/share/logstash/config/ \
-v /tools/dockerdata/logstash/pipeline/:/usr/share/logstash/pipeline/ \
-v /tools/dockerdata/logstash/jars/:/usr/share/logstash/logstash-core/lib/jars/ \
--name=logstash \
logstash:7.6.2
訪問 kibana 檢視效果:
logstash日誌:
kibana使用手冊之index pattern:
第7章 函式 7
7.7 類的成員函式 函式原型必須在類中定義。但是,函式體則既可以在類中也可以在類外定義。7.7.1 定義成員函式的函式體 類的所有成員都必須在類定義的花括號裡面宣告,此後,就不能再為類增加任何成員。類的成員函式必須加宣告的一般定義。類的成員函式既可以在類的定義內也可以在類的定義外定義。編譯器隱式地...
7 centos7 使用者管理
useradd meng如果建立使用者時沒有指定屬於哪個組,則缺省會建立乙個名字與使用者相同的組並歸屬於此組 對應的home目錄下回建立乙個meng的資料夾 passwd meng 之後會提示輸入密碼 userdel meng 刪除使用者,會保留home檔案 userdel r meng 刪除使用者...
win7安裝centos7,win7不能引導
1.在用u盤安裝過程中,在進入安裝介面,按tab鍵修改 vmlinuz initrd initrd.img inst.stage2 hd label centos x207 x20x86 64 rd.live.check quiet 改為 vmlinuz initrd initrd.img inst...