mysql大表更新sql的優化策略

2021-12-30 12:35:00 字數 790 閱讀 3545

問題sql背景:專案有6個表的要根據pid欄位要寫入對應的brand_id欄位。但是這個其中有兩個表是千萬級別的。我的worker執行之後,線上的mysql主從同步立刻延遲了!執行了乙個多小時之後,居然延遲到了40分鐘,而且只更新了十幾萬行資料。問題sql如下:

update $tablename$

set brand_id = #newbrandid#

where pid = #pid#

and brand_id = 0

專案組的mysql專家幫我分析了下,因為pid欄位沒有索引,mysql引擎要逐行掃瞄出與傳入的pid值相等的列,然後更新資料,也就是要掃瞄完1000w+行磁碟資料才能執行完這個sql。更嚴重的是,這個千萬級的表裡面有多少個不同的pid,我就要執行多少個這樣的sql。

同事給我的建議的根據id欄位進行sql**層次的縱向分表。每次更新1000行的資料,這樣mysql引擎就不用每次在掃全表了,資料庫壓力是之前的萬分之一。而且id作為主鍵,是有索引的有索引,有索引能大大優化查詢效能,優化後的sql如下:

update $tablename$

set brand_id = #newbrandid#

where pid = #pid#

and brand_id = 0

and id between #startnum# and #endnum#

僅僅用了id限區間的語句,將乙個千萬級的大表**層次上進行縱向切割。重新上線worker後,mysql主從沒有任何延遲!而且經過監視,短短10分鐘就更新了十幾萬資料,效率是之前的6倍!更重要的是資料庫負載均衡,應用健康執行。

mysql大表更新sql的優化策略

問題sql背景 專案有6個表的要根據pid欄位要寫入對應的brand id欄位。但是這個其中有兩個表是千萬級別的。我的worker執行之後,線上的mysql主從同步立刻延遲了!執行了乙個多小時之後,居然延遲到了40分鐘,而且只更新了十幾萬行資料。問題sql如下 根據商品id更新品牌id id upd...

mysql 大表優化 持續更新

單錶優化 除非單錶資料未來會一直不斷 否則不要一開始就考慮拆分,拆分會帶來邏輯 部署 運維的各種複雜度,一般以整型值為主的表在千萬級以下,字串為主的表在五百萬以下是沒有太大問題的。而事實上很多時候mysql單錶的效能依然有不少優化空間,甚至能正常支撐千萬級以上的資料量 字段 索引 查詢sql 總結 ...

mysql大表更新 大表的update更新

因為業務需要對一張大表的乙個列值進行update更新,表中有資料一億多條,為了更新這一億多條資料,我做了一下嘗試,給各位同學留個前車之鑑。表名 test 列名 name varchar2 50 方法一 直接對大表update,語句 update test set name replace name,...