elasticsearch使用優化備忘

2021-10-22 21:26:01 字數 1010 閱讀 5837

做過哪些優化

1.jvm使用合適的jvm

2.增大可以開啟的檔案數

3.增大可以開啟的執行緒數

4.增大mmap使用的限制vma

5.減少swap,可以開啟memory lock,或者禁用swap

6.master expecial

bulk操作

增大index-buffer

調整write執行緒池,效果不大

全量更新的時候設定replica=0,更新完成後再開啟

使用高效能的本地ssd

下面做法犧牲部分一致性和實時性

refresh_interval 加大

translate log設定為非同步

還有乙個提高寫入的方式是 使用多執行緒寫入,這種首先保證寫入壓力不再es側

提高副本數number_of_replicas

減小分片大小,提公升number_of_shards

讓更多的資料能夠保留在記憶體中,設定更大的記憶體

使用更高效能的磁碟

使用alias來進行全量index的無縫替換

max_result_window 設定翻頁深度,前端改造

set slow_log進行監控

add coordinator node 並使用g1

add node的時候關閉auto_rebalance,手動均衡

node_left.delayed_timeout 加大,設定為4h

避免version_confilict

無關的字段設定index-option減少儲存

監控主要是增強寫入能力

best_commpression

index-sort

update refresh_interval greater

logstash 設定assign-strategy

冷熱資料分離,減小儲存成本

無關的字段設定index-option

translog 設定為asyn

dynamic_templates 動態模板

誰在使用Elasticsearch

github github使用elasticsearch搜尋20tb的資料,包括13億的檔案和1300億行的 這個不用介紹了吧,碼農們都懂的,github在2013年1月公升級了他們的 搜尋,由solr轉為elasticsearch,目前集群規模為26個索引儲存節點和8個客戶端節點 負責處理搜尋請求...

ElasticSearch使用入門

es的安裝 啟動 cd.elasticsearch 2 4 3 bin elasticsearch bin elasticsearch d 後台執行 es安裝驗證 注意 預設啟動的時候es繫結的網路ip是本機127.0.0.1,只能通過這個ip訪問 兩種修改方式 1 修改config elastic...

ElasticSearch使用學習

elasticsearch是乙個基於lucene的搜尋服務,它通過倒排索引的方法提供了全文搜尋的能力。1 插入資料 elasticsearch中存放資料的為文件,有索引及型別名,如下插入兩文件 2 檢索文件 1 檢索id為1的文件 curl x get elasticsearch.in.netwa....