solr的全量更新和增量更新

2021-10-24 04:43:32 字數 1688 閱讀 8919

1.solr 的全量更新

1.core/conf 目錄下的 solrconfig.xml,新增如下配置

data-config.xml

2 在core/conf 目錄下的新建 data-config.xml 檔案,新增如下配置

<?xml version="1.0" encoding="utf-8" ?>

3.修改core/conf 目錄下 managed-schema.xml 的檔案,新增需要索引的列,示例:

4.進入solr 的後台管理,進行全量更新

2. solr 的增量更新

1.首先要弄懂幾個必要的屬性,以及資料庫建表事項,和dataimporter.properties 、data-config.xml裡面的資料

2.資料庫配置注意事項

1.如果只涉及新增,與修改業務,那麼資料庫裡只需額外有乙個timpstamp欄位

就可以了,預設值為當前系統時間,current_timestamp

2.如果還涉及刪除業務,那麼資料裡就需額外再多新增乙個欄位isdelete,int型別的

用0,1來標識,此條記錄是否被刪除

3.dataimporter.properties

這個配置檔案很重要,它是用來記錄當前時間與上一次修改時間的,通過它能夠找出,那些,新新增的,修改的,或刪除的記錄標識,此條記錄是否被刪除的記錄

<?xml version="1.0" encoding="utf-8" ?>

'$' and flag = '0'"

deletedpkquery = "select fid from solrtest where flag = '1'"

>

5.通過後台管理手動增量更新和通過瀏覽器手動更新 ![在這裡插入描述]( 在瀏覽器直接輸入** : http://localhost:8089/solr/active/dataimport?command=delta-import^&clean=false^&commit=true

solr 常見的自動更新方式

3.在solrhome(儲存solr資料的目錄) 的目錄下建立conf資料夾,建立 dataimport.properties 檔案,內容根據實際情況修改,內容如下:

syncenabled=1

synccores=active

這個一般都是localhost不會變

server=localhost

port=8089

params=/dataimport?command=delta-import&clean=false&commit=true

#這裡是設定定時任務的,單位是分鐘,也就是多長時間你檢測一次資料同步,根據專案需求修改

interval=1

rebuildindexinterval=7200

rebuildindexparams=/select?qt=/dataimport&command=full-import&clean=true&commit=true

rebuildindexbegintime=03:10:00

最後重啟solr,在資料庫中新增一條資料,靜等一分鐘,然後query。因為我們設定的是一分鐘監聽一次

sorl增量更新和全量更新粗略配置

全量更新 1.在sorlconfig.xml配置data config.xml dataimport class solr.dataimporthandler defaults config data config.xml str lst requesthandler 2.new code conf...

solr的全量更新與增量更新分析

二 solr的增量更新 solr是apache門下的一款企業級的,快速的和高度可擴充套件的開源搜尋平台,用於構建搜尋應用程式。它建立在lucene 全文搜尋引擎 之上,使用solr構建的應用程式非常複雜,可提供高效能。它不僅限於搜尋,solr也可以用於儲存目的。像其他nosql資料庫一樣,它是一種非...

一起來看看Solr全量更新和增量更新的那些事

3.3.1 確定更新點 資料如果保留多份,就會存在一致性問題,就需要同步,同步分為兩大類 全量和增量 資料如果要保留副本,要麼同時寫 就是多寫 或者進行複製 非同步寫 即從主資料拷貝到副本 同時寫 多寫 引出乙個問題,寫多少節點算成功 場景 分布式系統 全部寫成功才算成功,還是寫大多數成功算成功,還...