線上部署配置
問題和錯誤
此篇文章記錄個人使用大資料開源框架elk，實際應用於公司日誌處理專案
logstash是資料收集系統。主要是用來日誌的蒐集、分析、過濾日誌的工具，支援大量的資料獲取方式。可以部署成c/s架構，client端安裝在需要收集日誌的主機上，server端負責將收到的各節點日誌進行過濾、修改等操作在一併發往elasticsearch上去。
elasticsearch是資料搜尋系統。提供蒐集、分析、儲存資料三大功能。它的特點有：分布式，零配置，自動發現，索引自動分片，索引副本機制，restful風格介面，多資料來源，自動搜尋負載等。
kibana是資料展示系統。為 logstash 和 elasticsearch 提供的日誌分析友好的 web 介面，可以幫助彙總、分析和搜尋重要資料日誌。系統：centos 6.9
軟體版本：elk-6.4.2
解壓tar包：tar -zxvf *.tar.gz
elasticsearch部署
logstash部署
kibina部署
上線使用服務部署節點上線使用error: bootstrap checks failed
max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]切換到root使用者，編輯limits.conf 新增類似如下內容：max number of threads [1024] for user [lishang] likely too low, increase to at least [2048]
max_map_count不夠大
max virtual memory areas vm.max_map_count [65536] likely too low, increase to at least [262144]echo 262144 >> /proc/sys/vm/max_map_count
重定向修改檔案的值
暫時沒有
springboot接入elk日誌平台
elk是三個開源軟體的縮寫，分別表示 elasticsearch logstash,kibana 現在新增了乙個輕量級的日誌收集處理工具filebeat，filebeat占用資源少，適合於在各個伺服器上蒐集日誌後傳輸給logstash，官方也推薦此工具。springboot應用可以使用tcp連線將日...
elk及KAFKA維護文件
測試環境elk及kafka維護文件 es 伺服器ip及賬號密碼 ip 10.5.11.183,10.5.11.184,10.5.11.185 三颱都要操作 es安裝路徑 data es elk使用者啟動 su elk 啟動命令 nohup data es elasticsearch 6.8.3 bi...
ELK 本地搭建kafka環境
tar zxvf kafka 2.11 2.0.1.tgz kafka需要安裝zookee使用，但kafka整合zookeeper,在單機搭建時可直接使用。使用需配置kafka 2.11 1.1.0 config 下的 zookeeper.properties 配置 zookeeper.proper...