一次es遷移

2021-09-11 09:35:29 字數 972 閱讀 8244

在開發乙個專案中,有大量的需要處理,並能夠進行搜尋。於是,在es中建立兩個索引,raw和labeled,raw存放爬蟲獲取的原始,暫時是運營人員來給這些未經篩選的打上標記,後續會引導產品的使用者去給標記。標記後將進入labeled索引,後續的搜素主要圍繞labeled來展開。

在開發時,將es搭建在單體的虛擬機器中,現在v0.0.1完成,需要將其遷移到正式環境中的es集群。這是前提,本文簡單記載了這次es遷移,方便日後檢視。

首先使用rest put在集群中建立新的index以及相應type。我使用的的是dynamic template,示例:

}}

]}

}}複製**

npm install elasticdump -g

複製**

elasticdump --input=http://host:port/index/type --output=http://host:port/index/type --type=複製**
一條簡單的命令即可啟動,解釋一下。

input為源es,output為想要遷移到的es。

host:port/index/type即你所對應的es屬性,當然你也可以寫成host:port/index這樣就變成了遷移單個index,如果寫成host:port,則為遷移整個例項。

十分方便,寫完這篇筆記,我的遷移已經完成了。

比如要新增的字段為「deleted」

}}複製**

批量給這個字段賦值

post /index/type/_update_by_query?conflicts=proceed

}, "script" : }}

複製**

記錄一次硬碟遷移過程

現在記錄一次硬碟遷移的過程。目前電腦磁碟使用狀況。intel sata ssd 540s 1tb,上面裝了win 10 和macos雙系統。因為我們更換的硬碟是1tb的三星960 pro,所以可以用三星的 如果僅是遷移windows系統,到這裡已經結束了,三星的這個軟體確實是很方便。很快就完成了系統...

記一次Kafka 消費 轉存 ES

前提 流程是消費kafka資料,處理後存入es 基礎引數 es 個節點 索引20個分片 個副本 2 kafka 3個節點,12個 分割槽 出現的問題有 1 多執行緒消費kafka,無限重新分配rebalance,消費異常,資料無法消費處理至es 實際情況 1 當資料量達到20億條後 doc總大小已超...

記錄一次es商品模糊查詢

根據商品編碼或者名稱模糊查詢,之前走資料庫,根據名稱查詢較慢,現在走es 先判斷編碼查詢還是名稱查詢,查詢邏輯不一樣 查詢商品編碼或條碼,termquery全量匹配,prefiexquery字首匹配,should類似or,四個條件滿足乙個就行,過濾部類 minimumshouldmatch 詳解 這...