分布式搜尋elasticsearch配置檔案詳解

2021-08-27 22:35:07 字數 3735 閱讀 8421

配置檔案位於%es_home%/config/elasticsearch.yml檔案中,用editplus開啟它,你便可以進行配置。

所有的配置都可以使用環境變數,例如:

node.rack: $

表示環境變數中有乙個rack_env_var變數。

下面列舉一下elasticsearch的可配置項:

1. 集群名稱,預設為elasticsearch:

cluster.name: elasticsearch

2. 節點名稱,es啟動時會自動建立節點名稱,但你也可進行配置:

node.name: "franz kafka"

3. 是否作為主節點,每個節點都可以被配置成為主節點,預設值為true:

node.master: true

4. 是否儲存資料,即儲存索引片段,預設值為true:

node.data: true

master和data同時配置會產生一些奇異的效果:

1) 當master為false,而data為true時,會對該節點產生嚴重負荷;

2) 當master為true,而data為false時,該節點作為乙個協調者;

3) 當master為false,data也為false時,該節點就變成了乙個負載均衡器。

你可以通過連線http://localhost:9200/_cluster/health或者http://localhost:9200/_cluster/nodes,或者使用外掛程式或來檢視集群狀態。

5. 每個節點都可以定義一些與之關聯的通用屬性,用於後期集群進行碎片分配時的過濾:

node.rack: rack314

6. 預設情況下,多個節點可以在同乙個安裝路徑啟動,如果你想讓你的es只啟動乙個節點,可以進行如下設定:

node.max_local_storage_nodes: 1

7. 設定乙個索引的碎片數量,預設值為5:

index.number_of_shards: 5

8. 設定乙個索引可被複製的數量,預設值為1:

index.number_of_replicas: 1

當你想要禁用公布式時,你可以進行如下設定:

index.number_of_shards: 1

index.number_of_replicas: 0

這兩個屬性的設定直接影響集群中索引和搜尋操作的執行。假設你有足夠的機器來持有碎片和複製品,那麼可以按如下規則設定這兩個值:

1) 擁有更多的碎片可以提公升索引執行能力,並允許通過機器分發乙個大型的索引;

2) 擁有更多的複製器能夠提公升搜尋執行能力以及集群能力。

對於乙個索引來說,number_of_shards只能設定一次,而number_of_replicas可以使用索引更新設定api在任何時候被增加或者減少。

elasticsearch關注載入均衡、遷移、從節點聚集結果等等。可以嘗試多種設計來完成這些功能。

可以連線http://localhost:9200/a/_status來檢測索引的狀態。

9. 配置檔案所在的位置,即elasticsearch.yml和logging.yml所在的位置:

path.conf: /path/to/conf

10. 分配給當前節點的索引資料所在的位置:

path.data: /path/to/data

可以可選擇的包含乙個以上的位置,使得資料在檔案級別跨越位置,這樣在建立時就有更多的自由路徑,如:

path.data: /path/to/data1,/path/to/data2

11. 臨時檔案位置:

path.work: /path/to/work

12. 日誌檔案所在位置:

path.logs: /path/to/logs

13. 外掛程式安裝位置:

path.plugins: /path/to/plugins

14. 外掛程式託管位置,若列表中的某乙個外掛程式未安裝,則節點無法啟動:

15. jvm開始交換時,elasticsearch表現並不好:你需要保障jvm不進行交換,可以將bootstrap.mlockall設定為true禁止交換:

bootstrap.mlockall: true

請確保es_min_mem和es_max_mem的值是一樣的,並且能夠為elasticsearch分配足夠的內在,並為系統操作保留足夠的記憶體。

network.bind_host: 192.168.0.1

network.publish_host: 192.168.0.1

18. bind_host和publish_host可以一起設定:

network.host: 192.168.0.1

19. 可以定製該節點與其他節點互動的埠:

transport.tcp.port: 9300

20. 節點間互動時,可以設定是否壓縮,轉為為不壓縮:

transport.tcp.compress: true

21. 可以為http傳輸監聽定製埠:

22. 設定內容的最大長度:

. 禁止http

. 閘道器允許在所有集群重啟後持有集群狀態,集群狀態的變更都會被儲存下來,當第一次啟用集群時,可以從閘道器中讀取到狀態,預設閘道器型別(也是推薦的)是local:

gateway.type: local25

. 允許在n個節點啟動後恢復過程:

gateway.recover_after_nodes: 126

gateway.recover_after_time: 5m27

. 設定該集群中可存在的節點上限:

gateway.expected_nodes: 228

. 設定乙個節點的併發數量,有兩種情況,一種是在初始復甦過程中:

cluster.routing.allocation.node_initial_primaries_recoveries: 4

另一種是在新增、刪除節點及調整時:

cluster.routing.allocation.node_concurrent_recoveries: 229

. 設定復甦時的吞吐量,預設情況下是無限的:

indices.recovery.max_size_per_sec: 0

30. 設定從對等節點恢復片段時開啟的流的數量上限:

indices.recovery.concurrent_streams: 531

. 設定乙個集群中主節點的數量,當多於三個節點時,該值可在2-4之間:

discovery.zen.minimum_master_nodes: 132

. 設定ping其他節點時的超時時間,網路比較慢時可將該值設大:

discovery.zen.ping.timeout: 3s

上有更多關於discovery的設定。33

. 禁止當前節點發現多個集群節點,預設值為true:

discovery.zen.ping.multicast.enabled: false34

. 設定新節點被啟動時能夠發現的主節點列表(主要用於不同網段機器連線):

discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portx-porty]"]

35.設定是否可以通過正則或者_all刪除或者關閉索引

action.destructive_requires_name 預設false 允許 可設定true不允許

分布式搜尋elasticsearch配置檔案詳解

elasticsearch的config資料夾裡面有兩個配置檔案 elasticsearch.yml和logging.yml,第乙個是es的基本配置檔案,第二個是日誌配置檔案。elasticsearch.yml檔案中可以配置的如下 cluster.name elasticsearch 配置es的集群...

分布式搜尋方案選型

solr官網 我在學校專案實踐時使用過solandra,它是乙個基於solr和nosql資料庫cassandra的分布式搜尋引擎。cassandra是由facebook開源的nosql數 據庫,facebook的信箱搜尋就是基於它實現的,它是基於列結構的,不同與關聯式資料庫。它的數學模型基於goog...

分布式搜尋演算法

對於搜尋引擎來說,索引存放在成千上萬臺機器上,如何進行分布式搜尋呢?假設搜尋結果是以分頁的方式顯示,以 pagenumber 代表當前頁,從1 開始,以 pagesize 代表頁面大小 預設為 10,以n代表 搜尋伺服器數量 最簡單的 分布式搜尋演算法 為 有一台合併伺服器負責接受使用者的搜尋請求,...