e是指elasticsearch,是乙個開源的分布式,可擴充套件,高可用的 restful 風格的搜尋和資料分析引擎
l是指logstash,是開源的伺服器端資料處理管道，能夠同時從多個**採集資料、轉換資料，然後將資料傳送到你需要儲存的地方(此處以elasticsearch為例)
k是指kibana,通過kibana,可以以視覺化的圖表形式展示出 elasticsearch 中的資料並操作 elastic stack資料
elasticsearch是乙個基於lucene的開源的,分布式的,水平擴充套件的,高可用的資料搜尋和分析引擎,其以近乎實時的速度讀取,寫入和分析資料,lucene的介紹: 提到分布式,高可用,擴充套件等,首先想到的就是集群部署了,elasticseach也不例外,並且其集群部署相當簡單,基本上不需要配置任何東西.
基本概念:
集群(cluster):乙個集群有多個節點(node)組成,通過所有的節點一起儲存你的全部資料並且提供聯合索引和搜尋功能的節點集合,每個集群只有乙個名字,這個名字非常重要,
其他的節點是通過該名稱加入到集群的1. 節點(node):集群是由乙個個節點組成的,每個節點代表著一台伺服器,通過設定節點的名稱,可以知道的加入到集群
索引(index):乙個索引就是含有某些相似特性的文件的集合,可以簡單的認為乙個索引代表上儲存了一部分資料,相當於關係型資料庫的一張表
文件(doc):儲存在es中資料可被索引的資料的基礎單元,相當於關係型資料庫中的一行資料,乙個索引可以根據需求儲存多個文件
分片和複製(shards & replicas)
logstash是乙個開源的伺服器端資料處理管道,可以從多個資料來源實時的收集各種格式的資料。並且統一過濾來自不同源的資料，並按照開發者的制定的規範輸出到目的地
基本概念
輸入(input):input外掛程式可以實時的時候包括文字,佇列,redis為資料來源的資料.
過濾(filter):filter外掛程式可以對input外掛程式收集的資料進行資料的分析過濾和格式化
輸出(output):output外掛程式可以對filter外掛程式分析過濾的資料輸出到使用者指定的儲存位置
kibana讓你能夠視覺化 elasticsearch 中的資料並操作 elastic stack
下圖為基本的rlk日誌系統架構
分布式系統學習
分布式系統中節點分布情況在空間上是隨意分布的。系統中所有節點都是對等的，沒有主從之分。副本是分布式系統對資料和服務提供的一種冗餘方式，資料副本是指在不同節點上持久化同乙份資料，解決單點故障資料丟失的問題，服務副本是指多個節點提供同樣的服務，每個節點都有能力接受來自外部的請求並進行相應的處理。分布式系...
使用ELK構建分布式日誌分析系統
分布式系統的日誌散落在各個伺服器上，對於監控和排錯非常不利，我們基於elk構建了整套日誌收集，分析，展示系統。架構圖 1.整理rails日誌 我們最關心的是rails的訪問日誌，但是rails日誌本身的格式是有問題的，舉個例子 started get for 10.1.1.11 at 2017 07...
使用ELK構建分布式日誌分析系統
分布式系統的日誌散落在各個伺服器上，對於監控和排錯非常不利，我們基於elk構建了整套日誌收集，分析，展示系統。架構圖 1.整理rails日誌 我們最關心的是rails的訪問日誌，但是rails日誌本身的格式是有問題的，舉個例子 started get for 10.1.1.11 at 2017 07...