資料如果保留多份,就會存在一致性問題,就需要同步,同步分為兩大類:全量更新和增量更新。
例如:資料庫中的資料匯入solr快取中就是更新。
下圖便是全量更新:
增量的基礎是全量,就是你要使用某種方式先把全量資料拷貝過來,然後再採用增量方式同步更新。
增量的話,就是指抓取某個時刻(更新時間)或者檢查點(checkpoint)以後的資料來同步,不是無規律的全量同步。這裡引入乙個關鍵性的前提:副本一端要記錄或者知道(通過查詢更新日誌或者訂閱更新)哪些更新了。
1.首先要弄懂幾個必要的屬性,以及資料庫建表事項,和dataimporter.properties 、data-config.xml裡面的資料
注意這個只能返回id欄位
注意這個只能返回id欄位
2.資料庫配置注意事項1.如果只涉及新增,與修改業務,那麼資料庫裡只需額外有乙個timpstamp欄位
就可以了,預設值為當前系統時間,current_timestamp
2.如果還涉及刪除業務,那麼資料裡就需額外再多新增乙個欄位isdelete,int型別的
用0,1來標識,此條記錄是否被刪除
3.dataimporter.properties這個配置檔案很重要,它是用來記錄當前時間與上一次修改時間的,通過它能夠找出,
那些,新新增的,修改的,或刪除的記錄標識,此條記錄是否被刪除的記錄。
原配置:
<?xml version="1.0" encoding="utf-8"?>
增量更新配置:
<?xml version="1.0" encoding="utf-8"?>
solr的全量更新與增量更新分析
二 solr的增量更新 solr是apache門下的一款企業級的,快速的和高度可擴充套件的開源搜尋平台,用於構建搜尋應用程式。它建立在lucene 全文搜尋引擎 之上,使用solr構建的應用程式非常複雜,可提供高效能。它不僅限於搜尋,solr也可以用於儲存目的。像其他nosql資料庫一樣,它是一種非...
solr的全量更新和增量更新
1.solr 的全量更新 1.core conf 目錄下的 solrconfig.xml,新增如下配置 data config.xml 2 在core conf 目錄下的新建 data config.xml 檔案,新增如下配置 3.修改core conf 目錄下 managed schema.xml...
一起來看看Solr全量更新和增量更新的那些事
3.3.1 確定更新點 資料如果保留多份,就會存在一致性問題,就需要同步,同步分為兩大類 全量和增量 資料如果要保留副本,要麼同時寫 就是多寫 或者進行複製 非同步寫 即從主資料拷貝到副本 同時寫 多寫 引出乙個問題,寫多少節點算成功 場景 分布式系統 全部寫成功才算成功,還是寫大多數成功算成功,還...