logstash介紹（翻譯）
logstash是乙個開源的資料收集引擎，具有及時管道功能。logstash可以動態統一不同的資料來源並且將資料規範成你想要的格式。清理和定製化你的所有資料來進行下游分析和資料庫視覺化。
logstash推動了日誌收集的革新，他的拓展場景會超過現在的用例。在本地的編譯器可以簡化獲取程序的過程下，一種事件可以通過廣泛的輸入陣列、過濾器和輸出外掛程式來豐富和轉化。logstash通過利用各種各樣的大量資料讓你大開眼界。
logstash的能力
elasticsearch等的獲取主力。
和強大的elasticsearch以及kibana協同作用成為處理水平拓展資料處理的管道。
可插拔的管道架構。
混合、關聯和編排不同的輸入、過濾器和輸出來構建乙個和諧的管道。
社群可拓展的和對開發者友好的外掛程式系統。
通過兩百多個外掛程式，你可以增加建立和增加你自己的外掛程式的靈活性。
logstash喜愛資料
日誌和指標
從**開始。
處理所有型別的日誌資料
很容易獲取眾多像apache一樣的web日誌資料或者像log4j一樣的應用程式日誌。
捕獲許多其它日誌格式，比如系統日誌、網路日誌、防火牆日誌等等。
使用filebeat享受安全日誌**功能。
從基於tcp和udp的ganglia、collectd、netflow、jmx和許多架構和應用平台收集指標。
web
解鎖全球資訊網
將http請求轉化為事件
消費很火的web服務如twitter等來進行社會情緒分析
對github、hipchat、jira和其他無數應用提供webhook服務。
很多監控報警的功能
根據需求通過輪詢http端點建立事件
通常從web應用介面抓住健康、效能、指標和其它型別的資料。
完美地符合抓取優先於接受的場景
資料儲存和流
從你已經擁有的資料中發現更多價值
用jdbc介面更好地理解你的關係型資料庫和非關係型儲存中的資料。
統一來自諸如阿帕奇kafka、rabbitmq和amazon sqs的多樣的資料流。
感測器和物聯網
探索其它的維度的資料
在這個技術進步的時代，龐大的物聯網世界釋放了無盡的用了通過從互聯的感測器中抓取和駕馭的資料。
logstash是通用的事件收集支柱來獲取資料：從移動裝置到智慧型家居，到互聯的交通工具、健康管理的感測器和許多其它特定的工業應用等。
容易豐富一切：
資料越好、知識越好。在從索引或者在output時獲取最近的實時視界中會清理和轉化你的資料。logstash具有開箱即用的功能進行聚合和突變，還有模式匹配、geo對映以及動態查詢的功能。
grok是logstash過濾器中的基礎，廣泛用於從非結構化資料中匯出資料。享受旨在解決web、系統、網路和其它事件格式型別的集中模式。
通過從ip位址中解碼出geo座標、歸一化資料的複雜性、簡化鍵值對和csv資料、匿名化敏感資訊來拓展你的視野，並且更好地用本地查詢和elasticsearch查詢來豐富你的資料。
編譯器經常被用來簡化諸如json和變異事件的通用事件結構的處理。
Logstash安裝介紹
logstash是elk日誌系統中的一部分，主要承擔將收集完成日誌進行過濾，並且輸出到es的職責。logstash本身也可以作為客戶端部署到應用系統的伺服器上進行日誌收集，但是由於資源開銷占用過大，所以客戶端的收集工作交給了beats進行，logstash專心在獨立的伺服器上完成日誌解析處理的工作。...
logstash常用外掛程式介紹
在 使用efk快速搭建安全可靠的日誌服務 一文中，我們已經大致介紹了分布式日誌服務的各個元件。但是對於很多實現細節，並未涵蓋到。本文主要介紹logstash用到的外掛程式，以及對外掛程式的離線打包，避免每次手動安裝外掛程式。本文主要分為4部分 外掛程式的離線打包 input外掛程式 filter外掛...
logstash常用外掛程式介紹
在 使用efk快速搭建安全可靠的日誌服務 一文中，我們已經大致介紹了分布式日誌服務的各個元件。但是對於很多實現細節，並未涵蓋到。本文主要介紹logstash用到的外掛程式，以及對外掛程式的離線打包，避免每次手動安裝外掛程式。本文主要分為4部分 外掛程式的離線打包 input外掛程式 filter外掛...