架構設計之ElasticSearch的使用

2022-06-30 13:03:09 字數 1347 閱讀 2495

快取

es具有極佳的查詢能力、資料分析、統計能力,並且支援給每個欄位加索引。那麼,對於水平切分的資料庫(sharddb),對於跨片查詢,可以將常用字段同步到es中,然後用es查出目標資料,通過目標資料再去db撈具體的資料。

比如,乙個學校管理系統,有1億名學生,按照學生id % 32,放在32片db中,你要是查詢所有平均成績大於90分,來自於上海男生的姓名;用db查是一件很可怕的事情。但是用es查出符合條件的學生id,再去db拿學生姓名,就是一件很簡單的事情。

文件檢索

此時,es 的作用類似傳統業務系統中的 mysql、postgresql、oracle 或者 mongo 等的基礎關係型資料庫或非關係型資料庫的作用。

舉例說明:使用 es 對基礎文件進行檢索操作,如將傳統的 word 文件、pdf 文件、ppt 文件等通過 openoffice 或者 pdf2htmlex 工具轉換為 html,再將 html 以json 串的形式錄入到 es,以對外提供檢索服務

資料分析

借助 es 強大的全文檢索功能實現,如分頁查詢、各類資料結果的聚合分析、圖形化展示(餅圖、線框圖、曲線圖等)。

舉例說明,像那些結合實際業務的場景,如安防領域、金融領域、監控領域等的綜合應用。

全文檢索

stack overflow(國外的程式異常討論論壇),it問題,程式的報錯,提交上去,有人會跟你討論和回答,全文檢索,搜尋相關問題和答案,程式報錯了,就會將報錯資訊貼上到裡面去,搜尋有沒有對應的答案

github(開源**管理),搜尋上千億行**

電商**,檢索商品

日誌資料分析,logstash採集日誌,es進行複雜的資料分析(elk技術,elasticsearch+logstash+kibana)

商品**監控**,使用者設定某商品的**閾值,當低於該閾值的時候,傳送通知訊息給使用者,比如說訂閱牙膏的監控,如果高露潔牙膏的家庭套裝低於50塊錢,就通知我,我就去買

bi系統,商業智慧型,business intelligence。比如說有個大型商場集團,bi,分析一下某某區域最近3年的使用者消費金額的趨勢以及使用者群體的組成構成,產出相關的數張報表,區,最近3年,每年消費金額呈現100%的增長,而且使用者群體85%是高階白領,開乙個新商場。es執行資料分析和挖掘,kibana進行資料視覺化國內

國內:站內搜尋(電商,招聘,門戶,等等),it系統搜尋(oa,crm,erp,等等),資料分析(es熱門的乙個使用場景)

elasticsearch和clickhouse對比

elasticsearch對壘8大競品技術,孰優孰劣?

系統設計之架構設計

架構設計這個詞聽的非常的多,但真正何謂架構設計呢?可能要你真的來講還真的講不太清楚,很多人都知道架構設計是對系統進行分層 分模組進行設計,但又有多少人知道這步應該怎麼去做呢,往往很多的programmer在剛進入架構設計這個領域的時候,受到以前做模組的那種影響,把自己的眼光限定到了具體的模組實現上去...

系統設計之架構設計

架構設計這個詞聽的非常的多,但真正何謂架構設計呢?可能要你真的來講還真的講不太清楚,很多人都知道架構設計是對系統進行分層 分模組進行設計,但又有多少人知道這步應該怎麼去做呢,往往很多的programmer在剛進入架構設計這個領域的時候,受到以前做模組的那種影響,把自己的眼光限定到了具體的模組實現上去...

架構設計之MVC

一 簡介 mvc model view controller,模型 檢視 控制器 是xerox parc在二十世紀八十年代為程式語言smalltalk 80發明的一種軟體設計模式,已被廣泛使用。一種軟體設計典範,用一種業務邏輯 資料 介面顯示分離的方法組織 將業務邏輯聚集到乙個部件裡面,在改進和個性...