百萬級資料多表同步

2021-08-26 12:29:40 字數 727 閱讀 7240

只說思路!只說思路!只說思路!

應用場景:百萬級資料多表同步

實現思路:我用的是redis的list型別,我當初的應用場景是因為平台開始設計時候並沒有打算把所有流水記錄放在乙個表中,而是一種幣種,乙個流水表。

像這種

假如說我想對所有幣種進行乙個查詢、條件搜尋、修改、分頁、該怎麼實現?觸發器? unin all ? 不現實的。

最後我實現的思路是用redis的佇列

進行乙個非同步增改操作

將所有其他幣種寫進乙個大表中

這樣就可以同時對所有幣種進行查詢、條件搜尋、修改、分頁等等操作

具體實現

當小表 進行 insert動作時

$data = array(

'field'=>$field,

$model->insert($data);

redis->lpush('insert',$data);

然後需要跑乙個守護程序

守護程序實現

while(true)

$redis->lpop('insert');

需要實時的去監聽redis 裡面 insert這個key有沒有資料如果有  就 $data = redis->lpop('insert');

彈出來的資料就可以進行插入大表操作了

至於 update動作也是同理

MySQL百萬級 千萬級資料多表關聯SQL語句調優

mysql百萬級 千萬級資料多表關聯sql語句調優 本文不涉及複雜的底層資料結構,通過explain解釋sql,並根據可能出現的情況,來做具體的優化,使百萬級 千萬級資料表關聯查詢第一頁結果能在2秒內完成 真實業務告警系統優化結果 希望讀者能夠理解sql的執行過程,並根據過程優化,走上自己的 成金之...

MySQL百萬級 千萬級資料多表關聯SQL語句調優

本文不涉及複雜的底層資料結構,通過explain解釋sql,並根據可能出現的情況,來做具體的優化,使百萬級 千萬級資料表關聯查詢第一頁結果能在2秒內完成 真實業務告警系統優化結果 希望讀者能夠理解sql的執行過程,並根據過程優化,走上自己的 成金之路 需要優化的查詢 使用explain 出現了usi...

poi百萬級資料匯出excel

通過傳入實體類陣列和指定匯出列來即可,匯出excel,讀者可直接複製到專案直接使用,下面只是個簡單的示例提供參考 一 匯出excel工具類 匯出實體類 param head 表頭 param exportcolumn 匯出字段 param exportlist 實體陣列 param clazz 實體...