今天接著《elasticsearch實戰-日誌監控平台》一文來給大家分享後續的學習,在《elasticsearch實戰-日誌監控平台》中給大家介紹乙個日誌監控平台的架構方案,接下來給大家分享如何去搭建部署這樣乙個平台,給大家做乙個入門介紹。下面是今天的分享目錄:
下面開始今天的內容分享。
搭建 elastic 套件較為簡單,下面我們開始去搭建部署相關套件,首先我們準備必要的環境。
這裡我們將 logstash 的服務部署在中心節點中,其核心配置檔案如下所示:
}其**節點,分別部署在日誌生產節點之上,核心配置檔案如下所示:
input接著,我們部署 es 集群,配置較為簡單,其配置內容如下所示:}output
redis
}
node.name: "這裡我只配置了其節點名稱資訊,集群名稱使用預設的,若大家需要配置其他資訊可自行處理,需要注意的是,這裡在實用 scp 命令分發到其他節點時,需要修改其屬性值,保持每個節點的 node.name 值不一樣即可。node1
"
sudo elasticsearch/bin/plugin -install mobz/elasticsearch-head
sudo elasticsearch/bin/plugin -install lukas-vlcek/bigdesk其對應的 web ui 介面如下圖所示:
關於其他的 es 集群的外掛程式,搭建可以根據實際業務需求進行選擇性的安裝,這裡就不多贅述了。
這裡我們需要安裝乙個能夠去視覺化 es 集群資料的工具,這裡我們選擇 kibana 工具去視覺化我們的資料,其安裝較為簡單,只需配置對應的核心檔案即可,配置如下:
elasticsearch_url: "這裡去視覺化 node1 節點 es 集群中資料。"
接著,我們啟動整個系統,啟動步驟如下所示:
[hadoop@dn1 ~]$ redis-server &
bin/logstash agent --verbose --config conf/shipper.conf --log logs/stdout.log &
bin/logstash agent --verbose --config conf/central.conf --log logs/stdout.log &
bin/elasticsearch start
bin/kibana這裡,我們可以預覽收集的日誌,日誌資訊我只抽取了幾條,截圖如下:
這裡需要注意的是,若是我們首次啟動 kibana 服務,收集日誌資訊為空的情況下,在我們建立索引時,settings 模組下的介面中 create 按鈕會是灰色狀態,導致無法建立,這裡大家在建立的時候需要保證我們有日誌已被收集儲存到 es 集群。如下圖,由於我已收集儲存日誌到 es 集群,所以按鈕呈現綠色狀態,供點選建立。如下圖所示:
ElasticSearch入門實戰1
document資料格式 電商 商品管理案例背景介紹 簡單的集群管理 商品的crud操作 document curd 面向文件的搜尋分析引擎 public class employee private class employeeinfo employeeinfo info new employee...
Elasticsearch系列 實戰搜尋語法
空查詢 最簡單的搜尋命令,不指定索引和型別的空搜尋,它將返回集群下所有索引的所有文件 預設顯示10條 get search 搜尋多個索引get index1,index2 doc search 指定分頁搜尋get search get帶request body http協議,get請求帶body是不...
Elasticsearch實戰 地理位置查詢
為了方便學習es的地理位置查詢,這裡準備了一些地理座標為測試資料,每一條資料都包含城市名稱和地理座標兩個字段。首先把下面的內容儲存到geo.json檔案中 然後建立乙個索引 put geo,location 再執行 geo distancequery可以查詢在乙個中心點指定半徑範圍內的地理文件。例如...