elk入門概念詳解

2021-09-20 19:50:17 字數 3194 閱讀 5620

開始第一步

我們現在開始進行乙個簡單教程,它涵蓋了一些基本的概念介紹,比如索引(indexing)、搜尋(search)以及聚合(aggregations)。通過這個教程,我們可以讓你對elasticsearch能做的事以及其易用程度有乙個大致的感覺。

我們接下來將陸續介紹一些術語和基本的概念,但就算你沒有馬上完全理解也沒有關係。我們將在本書的各個章節中更加深入的**這些內容。

所以,坐下來,開始以旋風般的速度來感受elasticsearch的能力吧!

讓我們建立乙個員工目錄

假設我們剛好在megacorp工作,這時人力資源部門出於某種目的需要讓我們建立乙個員工目錄,這個目錄用於促進人文關懷和用於實時協同工作,所以它有以下不同的需求:

資料能夠包含多個值的標籤、數字和純文字。

檢索任何員工的所有資訊。

支援結構化搜尋,例如查詢30歲以上的員工。

支援簡單的全文搜尋和更複雜的短語(phrase)搜尋

高亮搜尋結果中的關鍵字

能夠利用圖表管理分析這些資料

索引員工文件

我們首先要做的是儲存員工資料,每個文件代表乙個員工。在elasticsearch中儲存資料的行為就叫做索引(indexing),不過在索引之前,我們需要明確資料應該儲存在**。

在elasticsearch中,文件歸屬於一種型別(type),而這些型別存在於索引(index)中,我們可以畫一些簡單的對比圖來模擬傳統關係型資料庫:

relational db -> databases -> tables -> rows -> columns

elasticsearch -> indices   -> types  -> documents -> fields

elasticsearch集群可以包含多個索引(indices)(資料庫),每乙個索引可以包含多個型別(types)(表),每乙個型別包含多個文件(documents)(行),然後每個文件包含多個字段(fields)(列)。

「索引」含義的區分

你可能已經注意到索引(index)這個詞在elasticsearch中有著不同的含義,所以有必要在此做一下區分:

索引(名詞) 如上文所述,乙個索引(index)就像是傳統關聯式資料庫中的資料庫,它是相關文件儲存的地方,index的複數是indices 或indexes。

索引(動詞) 「索引乙個文件」表示把乙個文件儲存到索引(名詞)裡,以便它可以被檢索或者查詢。這很像sql中的insert關鍵字,差別是,如果文件已經存在,新的文件將覆蓋舊的文件。

倒排索引 傳統資料庫為特定列增加乙個索引,例如b-tree索引來加速檢索。elasticsearch和lucene使用一種叫做倒排索引(inverted index)的資料結構來達到相同目的。

預設情況下,文件中的所有欄位都會被索引(擁有乙個倒排索引),只有這樣他們才是可被搜尋的。

我們將會在倒排索引章節中更詳細的討論。

所以為了建立員工目錄,我們將進行如下操作:

為每個員工的文件(document)建立索引,每個文件包含了相應員工的所有資訊。

每個文件的型別為employee。

employee型別歸屬於索引megacorp。

megacorp索引儲存在elasticsearch集群中。

實際上這些都是很容易的(儘管看起來有許多步驟)。我們能通過乙個命令執行完成的操作:

put /megacorp/employee/1

我們看到path:/megacorp/employee/1包含三部分資訊:

請求實體(json文件),包含了這個員工的所有資訊。他的名字叫「john smith」,25歲,喜歡攀岩。

很簡單吧!它不需要你做額外的管理操作,比如建立索引或者定義每個欄位的資料型別。我們能夠直接索引文件,elasticsearch已經內建所有的預設設定,所有管理操作都是透明的。

接下來,讓我們在目錄中加入更多員工資訊:

put /megacorp/employee/2

put /megacorp/employee/3

結果:[root@master elasticsearch]#

1

2

3

4

5

6

7

8

9

curl -i -xput 127.0.0.1:9200/megacorp/employee/1-d '

'

結果: 集群資料目錄多乙個了index megacorp名名稱的(indices目錄是 index名稱的複數)

[root@master elasticsearch]#

1

ls-l/tmp/elasticsearch/data/elasticsearch-cluster/nodes/0/indices/megacorp/

1

2

3

4

5

6

7

total 24

drwxr-xr-x 5 elasticsearch elasticsearch 4096 may 15 19:32 0

drwxr-xr-x 5 elasticsearch elasticsearch 4096 may 15 19:31 1

drwxr-xr-x 5 elasticsearch elasticsearch 4096 may 15 19:32 2

drwxr-xr-x 5 elasticsearch elasticsearch 4096 may 15 19:31 3

drwxr-xr-x 5 elasticsearch elasticsearch 4096 may 15 19:33 4

drwxr-xr-x 2 elasticsearch elasticsearch 4096 may 15 19:33 _state

cuizhiliang

ELK安裝入門

簡介 elk 由 elasticsearch logstash 和kiabana 三個開源工具組成。官方 1 elasticsearch 是個開源分布式搜尋引擎,它的特點有 分布式,零配置,自動發現,索引自動分片,索引副本機制,restful 風格介面,多資料來源,自動搜尋負載等。2 logstas...

ELK入門實戰 一

分析 對於日誌收集 分析 處理並應用於市場 嗅到商機的兩家公司 日誌易 純elk splunk公司。常用的elk其實是三款軟體 e elasticsearch 搜尋引擎 儲存 l logstash 日誌收集 vs flume k kibana 展示 eg 日誌進來後放到es,通過kibana來顯示。...

elk之es核心概念

1.nrt 進實時,把資料寫入到es,到通過es搜尋這條資料中間有乙個延遲 大概一秒鐘 或者是es做分析和搜尋時可以達到秒級。2.share 分片 要了解分片就得知道集群和節點的概念 集群 概念 同乙個業務部署在多個伺服器上。es中包含多個節點,每個節點屬於哪個集群也是通過配置 集群名稱,預設ela...