開始第一步
我們現在開始進行乙個簡單教程,它涵蓋了一些基本的概念介紹,比如索引(indexing)、搜尋(search)以及聚合(aggregations)。通過這個教程,我們可以讓你對elasticsearch能做的事以及其易用程度有乙個大致的感覺。
我們接下來將陸續介紹一些術語和基本的概念,但就算你沒有馬上完全理解也沒有關係。我們將在本書的各個章節中更加深入的**這些內容。
所以,坐下來,開始以旋風般的速度來感受elasticsearch的能力吧!
讓我們建立乙個員工目錄
假設我們剛好在megacorp工作,這時人力資源部門出於某種目的需要讓我們建立乙個員工目錄,這個目錄用於促進人文關懷和用於實時協同工作,所以它有以下不同的需求:
資料能夠包含多個值的標籤、數字和純文字。
檢索任何員工的所有資訊。
支援結構化搜尋,例如查詢30歲以上的員工。
支援簡單的全文搜尋和更複雜的短語(phrase)搜尋
高亮搜尋結果中的關鍵字
能夠利用圖表管理分析這些資料
索引員工文件
我們首先要做的是儲存員工資料,每個文件代表乙個員工。在elasticsearch中儲存資料的行為就叫做索引(indexing),不過在索引之前,我們需要明確資料應該儲存在**。
在elasticsearch中,文件歸屬於一種型別(type),而這些型別存在於索引(index)中,我們可以畫一些簡單的對比圖來模擬傳統關係型資料庫:
relational db -> databases -> tables -> rows -> columns
elasticsearch -> indices -> types -> documents -> fields
elasticsearch集群可以包含多個索引(indices)(資料庫),每乙個索引可以包含多個型別(types)(表),每乙個型別包含多個文件(documents)(行),然後每個文件包含多個字段(fields)(列)。
「索引」含義的區分
你可能已經注意到索引(index)這個詞在elasticsearch中有著不同的含義,所以有必要在此做一下區分:
索引(名詞) 如上文所述,乙個索引(index)就像是傳統關聯式資料庫中的資料庫,它是相關文件儲存的地方,index的複數是indices 或indexes。
索引(動詞) 「索引乙個文件」表示把乙個文件儲存到索引(名詞)裡,以便它可以被檢索或者查詢。這很像sql中的insert關鍵字,差別是,如果文件已經存在,新的文件將覆蓋舊的文件。
倒排索引 傳統資料庫為特定列增加乙個索引,例如b-tree索引來加速檢索。elasticsearch和lucene使用一種叫做倒排索引(inverted index)的資料結構來達到相同目的。
預設情況下,文件中的所有欄位都會被索引(擁有乙個倒排索引),只有這樣他們才是可被搜尋的。
我們將會在倒排索引章節中更詳細的討論。
所以為了建立員工目錄,我們將進行如下操作:
為每個員工的文件(document)建立索引,每個文件包含了相應員工的所有資訊。
每個文件的型別為employee。
employee型別歸屬於索引megacorp。
megacorp索引儲存在elasticsearch集群中。
實際上這些都是很容易的(儘管看起來有許多步驟)。我們能通過乙個命令執行完成的操作:
put /megacorp/employee/1
我們看到path:/megacorp/employee/1包含三部分資訊:
請求實體(json文件),包含了這個員工的所有資訊。他的名字叫「john smith」,25歲,喜歡攀岩。
很簡單吧!它不需要你做額外的管理操作,比如建立索引或者定義每個欄位的資料型別。我們能夠直接索引文件,elasticsearch已經內建所有的預設設定,所有管理操作都是透明的。
接下來,讓我們在目錄中加入更多員工資訊:
put /megacorp/employee/2
put /megacorp/employee/3
結果:[root@master elasticsearch]#
1
2
3
4
5
6
7
8
9
curl -i -xput 127.0.0.1:9200
/megacorp/employee/1
-d '
'
結果: 集群資料目錄多乙個了index megacorp名名稱的(indices目錄是 index名稱的複數)
[root@master elasticsearch]#
1
ls
-l
/tmp/elasticsearch/data/elasticsearch-cluster/nodes/0/indices/megacorp/
1
2
3
4
5
6
7
total 24
drwxr-xr-x 5 elasticsearch elasticsearch 4096 may 15 19:32 0
drwxr-xr-x 5 elasticsearch elasticsearch 4096 may 15 19:31 1
drwxr-xr-x 5 elasticsearch elasticsearch 4096 may 15 19:32 2
drwxr-xr-x 5 elasticsearch elasticsearch 4096 may 15 19:31 3
drwxr-xr-x 5 elasticsearch elasticsearch 4096 may 15 19:33 4
drwxr-xr-x 2 elasticsearch elasticsearch 4096 may 15 19:33 _state
cuizhiliang
ELK安裝入門
簡介 elk 由 elasticsearch logstash 和kiabana 三個開源工具組成。官方 1 elasticsearch 是個開源分布式搜尋引擎,它的特點有 分布式,零配置,自動發現,索引自動分片,索引副本機制,restful 風格介面,多資料來源,自動搜尋負載等。2 logstas...
ELK入門實戰 一
分析 對於日誌收集 分析 處理並應用於市場 嗅到商機的兩家公司 日誌易 純elk splunk公司。常用的elk其實是三款軟體 e elasticsearch 搜尋引擎 儲存 l logstash 日誌收集 vs flume k kibana 展示 eg 日誌進來後放到es,通過kibana來顯示。...
elk之es核心概念
1.nrt 進實時,把資料寫入到es,到通過es搜尋這條資料中間有乙個延遲 大概一秒鐘 或者是es做分析和搜尋時可以達到秒級。2.share 分片 要了解分片就得知道集群和節點的概念 集群 概念 同乙個業務部署在多個伺服器上。es中包含多個節點,每個節點屬於哪個集群也是通過配置 集群名稱,預設ela...