背景：兩個系統a和b，b需要同步a的部分資料，現在b使用定時任務呼叫a提供的介面實現同步。
問題：發現b查詢歷史資料的需求無法實現
原因：
同步時若a刪除了某條屬性，同步到b後該屬性不會顯示，也不能查到該屬性任何資訊(a,b的受眾不同，a只需要展示有用的資料，b需要展示所有歷史資料，對資料庫的操作只集中在a)
b系統檢視歷史記錄操作使用頻率低，使用mq太過浪費
解決：
打標，b系統定時從a系統同步資料，發現某條資料消失不刪除打標，發現資料改變則打標+建立新資料，發現新資料則建立新資料
離散資料的同步問題
這幾天試著著手前後端同步的架構，但依然存在一些理論上問題。之前的文章似乎全都以線性資料為前提做討論的，對於離散資料的同步確實比線性資料困難。因為客戶端無法通過離散資料計算出查詢可能產生的id序列，這時就需要與伺服器保持通訊。乙個包含複雜查詢條件的查詢，它可能查詢的id序列就是前端無法計算的。比如查詢...
ElasticSearch的資料同步問題怎麼處理？
概述 最簡單的一種，在將資料寫到mysql時，同時將資料寫到es，實現資料的雙寫。優點 業務邏輯簡單。缺點 硬編碼 es的編碼 業務耦合性高 效能較差 mysql es會降低系統效能 存在雙寫失敗丟資料風險 如果資料有強一致性的要求，那就必須加上事務，效能又會降低 es系統不可用 應用系統和es之間...
rsync同步Nginx日誌遇到問題總結
一 目的 將nginx 日誌通過普通使用者利用rsync公鑰認證的方式實時同步到本地伺服器上，之後使用elk程式進行處理。二 遇到問題及解決方法思路 問題1.檔案許可權 nginx 的日誌預設許可權如下 root elk ll var log nginx access.log rw r 1 ngin...