面向文件的搜尋分析引擎
(1)應用系統的資料結構都是物件導向的,複雜的
(2)物件資料儲存到資料庫中,只能拆解開來,變為扁平的多張表,每次查詢的時候還得還原回物件格式,相當麻煩
(3)es是面向文件的,文件中儲存的資料結構,與物件導向的資料結構是一樣的,基於這種文件資料結構,es可以提供複雜的索引,全文檢索,分析聚合等功能
(4)es的document用json資料格式來表達
public class employee
private class employeeinfo
employeeinfo info = new employeeinfo();
info.setbio("curious and modest");
info.setage(30);
info.setinterests(new string);
employee employee = new employee();
employee.setemail("[email protected]");
employee.setfirstname("san");
employee.setlastname("zhang");
employee.setinfo(info);
employee.setjoindate(new date());
employee物件:裡面包含了employee類自己的屬性,還有乙個employeeinfo物件
兩張表:employee表,employee_info表,將employee物件的資料重新拆開來,變成employee資料和employeeinfo資料
employee表:email,first_name,last_name,join_date,4個字段
employee_info表:bio,age,interests,3個字段;此外還有乙個外來鍵字段,比如employee_id,關聯著employee表
,
"join_date": "2017/01/01"
}
我們就明白了es的document資料格式和資料庫的關係型資料格式的區別
(1)對商品資訊進行crud(增刪改查)操作
(2)執行簡單的結構化查詢
(3)可以執行簡單的全文檢索,以及複雜的phrase(短語)檢索
(4)對於全文檢索的結果,可以進行高亮顯示
(5)對資料進行簡單的聚合分析
(1)快速檢查集群的健康狀況
es提供了一套api,叫做cat api,可以檢視es中各種各樣的資料
get /_cat/health?v
epoch timestamp cluster status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1488006741 15:12:21 elasticsearch yellow 1 1 1 1 0 0 1 0 - 50.0%
epoch timestamp cluster status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1488007113 15:18:33 elasticsearch green 2 2 2 1 0 0 0 0 - 100.0%
epoch timestamp cluster status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1488007216 15:20:16 elasticsearch yellow 1 1 1 1 0 0 1 0 - 50.0%
如何快速了解集群的健康狀況?green、yellow、red?
green:每個索引的primary shard和replica shard都是active狀態的
yellow:每個索引的primary shard都是active狀態的,但是部分replica shard不是active狀態,處於不可用的狀態
red:不是所有索引的primary shard都是active狀態的,部分索引有資料丟失了
為什麼現在會處於乙個yellow狀態?
我們現在就乙個膝上型電腦,就啟動了乙個es程序,相當於就只有乙個node。現在es中有乙個index,就是kibana自己內建建立的index。由於預設的配置是給每個index分配5個primary shard和5個replica shard,而且primary shard和replica shard不能在同一臺機器上(為了容錯)。現在kibana自己建立的index是1個primary shard和1個replica shard。當前就乙個node,所以只有1個primary shard被分配了和啟動了,但是乙個replica shard沒有第二台機器去啟動。
做乙個小實驗:此時只要啟動第二個es程序,就會在es集群中有2個node,然後那1個replica shard就會自動分配過去,然後cluster status就會變成green狀態。
(2)快速檢視集群中有哪些索引
get /_cat/indices?v
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
yellow open .kibana rum9n9wmrqccrrdehqnebg 1 1 1 0 3.1kb 3.1kb
(3)簡單的索引操作
建立索引:put /test_index?pretty
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
yellow open test_index xms9dtatskszswwhhgekkq 5 1 0 0 650b 650b
yellow open .kibana rum9n9wmrqccrrdehqnebg 1 1 1 0 3.1kb 3.1kb
刪除索引:delete /test_index?pretty
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
yellow open .kibana rum9n9wmrqccrrdehqnebg 1 1 1 0 3.1kb 3.1kb
(1)新增商品:新增文件,建立索引
put /index/type/id
put /ecommerce/product/1
, "created": true
}put /ecommerce/product/2
put /ecommerce/product/3
es會自動建立index和type,不需要提前建立,而且es缺省會對document每個field都建立倒排索引,讓其可以被搜尋
(2)查詢商品:檢索文件
get /index/type/id
get /ecommerce/product/1
}
(3)修改商品:替換文件
put /ecommerce/product/1
, "created": true},
"created": false
}put /ecommerce/product/1
替換方式有乙個不好,即使必須帶上所有的field,才能去進行資訊的修改
(4)修改商品:更新文件
post /ecommerce/product/1/_update
}}
(5)刪除商品:刪除文件
delete /ecommerce/product/1
}
Elsticsearch的批量查詢
就是一條一條的查詢,比如說要查詢100條資料,那麼就要傳送100次網路請求,這個開銷還是很大的 如果進行批量查詢的話,查詢100條資料,就只要傳送1次網路請求,網路請求的效能開銷縮減100倍 1 一條一條的查詢 get test index test type 1 get test index te...
Elsticsearch的寫一致性以及相關引數
我們在傳送任何乙個增刪改操作的時候,比如說put index type id,都可以帶上乙個consistency引數,指明我們想要的寫一致性是什麼?put index type id?consistency quorum one 要求我們這個寫操作,只要有乙個primary shard是activ...
Linux的基本操作 基本介紹
一 概述 1 常見作業系統 服務端作業系統 linux unix windows server 單機作業系統 windows dos ucdos win95 win98 win2000 xp vista win7 win8 mac linux ubuntu 移動作業系統 android ios wi...