在開發乙個專案中,有大量的需要處理,並能夠進行搜尋。於是,在es中建立兩個索引,raw和labeled,raw存放爬蟲獲取的原始,暫時是運營人員來給這些未經篩選的打上標記,後續會引導產品的使用者去給標記。標記後將進入labeled索引,後續的搜素主要圍繞labeled來展開。
在開發時,將es搭建在單體的虛擬機器中,現在v0.0.1完成,需要將其遷移到正式環境中的es集群。這是前提,本文簡單記載了這次es遷移,方便日後檢視。
首先使用rest put在集群中建立新的index以及相應type。我使用的的是dynamic template,示例:
}}
]}
}}複製**
npm install elasticdump -g
複製**
elasticdump --input=http://host:port/index/type --output=http://host:port/index/type --type=複製**
一條簡單的命令即可啟動,解釋一下。
input為源es,output為想要遷移到的es。
host:port/index/type
即你所對應的es屬性,當然你也可以寫成host:port/index
這樣就變成了遷移單個index,如果寫成host:port
,則為遷移整個例項。
十分方便,寫完這篇筆記,我的遷移已經完成了。
比如要新增的字段為「deleted」
}}複製**
批量給這個字段賦值
post /index/type/_update_by_query?conflicts=proceed
}, "script" : }}
複製**
記錄一次硬碟遷移過程
現在記錄一次硬碟遷移的過程。目前電腦磁碟使用狀況。intel sata ssd 540s 1tb,上面裝了win 10 和macos雙系統。因為我們更換的硬碟是1tb的三星960 pro,所以可以用三星的 如果僅是遷移windows系統,到這裡已經結束了,三星的這個軟體確實是很方便。很快就完成了系統...
記一次Kafka 消費 轉存 ES
前提 流程是消費kafka資料,處理後存入es 基礎引數 es 個節點 索引20個分片 個副本 2 kafka 3個節點,12個 分割槽 出現的問題有 1 多執行緒消費kafka,無限重新分配rebalance,消費異常,資料無法消費處理至es 實際情況 1 當資料量達到20億條後 doc總大小已超...
記錄一次es商品模糊查詢
根據商品編碼或者名稱模糊查詢,之前走資料庫,根據名稱查詢較慢,現在走es 先判斷編碼查詢還是名稱查詢,查詢邏輯不一樣 查詢商品編碼或條碼,termquery全量匹配,prefiexquery字首匹配,should類似or,四個條件滿足乙個就行,過濾部類 minimumshouldmatch 詳解 這...