一般來說呢,如何檢測兩張表的內容是否一致,這樣的需求大多在從機上體現,以保證資料一致性。方法無非有兩個,第一呢就是從資料庫著手,第二呢就是從應用程式端著手。 我這裡羅列了些如何從資料庫層面來解決此類問題的方法。
當然第一步就是檢查記錄數是否一致,否則不用想任何其他方法了。
這裡我們用兩張表t1_old,t1_new來演示。
表結構:
create table t1_old (
id int(11) not null,
log_time timestamp default null
) ; create table t1_new (
id int(11) not null,
log_time timestamp default null
) ;兩表的記錄數都為100條。
mysql> select count(*) from t1_old;
+----------+
| count(*) |
+----------+
| 100 |
+----------+
1 row in set (0.31 sec)
mysql> select count(*) from t1_new;
+----------+
| count(*) |
+----------+
| 100 |
+----------+
1 row in set (0.00 sec)
方法一:用加法然後去重。
由於union 本身具備把上下兩條連線的記錄做唯一性排序,所以這樣檢測來的非常簡單。
mysql> select count(*) from (select * from t1_old union select * from t1_new) as t;
+----------+
| count(*) |
+----------+
| 100 |
+----------+
1 row in set (0.06 sec)
這裡的記錄數為100,初步證明兩表內容一致。但是,這個方法有個bug,在某些情形下不能簡單表示結果集一致。
比如:mysql> create table t1_old1 (id int);
query ok, 0 rows affected (0.27 sec)
mysql> create table t1_new1(id int);
query ok, 0 rows affected (0.09 sec)
mysql> insert into t1_old1 values (1),(2),(3),(5);
query ok, 4 rows affected (0.15 sec)
records: 4 duplicates: 0 warnings: 0
mysql> insert into t1_new1 values (2),(2),(3),(5);
query ok, 4 rows affected (0.02 sec)
records: 4 duplicates: 0 warnings: 0
mysql> select * from t1_old1;
+------+
| id |
+------+
| 1 |
| 2 |
| 3 |
| 5 |
+------+
4 rows in set (0.00 sec)
mysql> select * from t1_new1;
+------+
| id |
+------+
| 2 |
| 2 |
| 3 |
| 5 |
+------+
4 rows in set (0.00 sec)
mysql> select count(*) from (select * from t1_old1 union select * from t1_new1) as t;
+----------+
| count(*) |
+----------+
| 4 |
+----------+
1 row in set (0.00 sec)
mysql>
所以在這點上,這個方法等於是無效。
方法二: 用減法來歸零。
由於mysql 沒有提供減法操作符,這裡我們換做postgresql來檢測。
t_girl=# select count(*) from (select * from t1_old except select * from t1_new) as t;
count
-------
0(1 row)
time: 1.809 ms
這裡檢測出來結果是0,那麼證明兩表的內容一致。 那麼我們可以針對第一種方法提到的另外一種情況做檢測:
t_girl=# select count(*) from (select * from t1_old1 except select * from t1_new1) as t;
count
-------
1(1 row)
time: 9.837 ms
ok,這裡檢測出來結果不對,那麼就直接給出不一致的結論。
第三種: 用全表join,這個也是最爛的做法了,當然我這裡指的是在表記錄數超級多的情形下。
當然這點我也用postgresql來演示
t_girl=# select count(*) from t1_old as a full outer join t1_new as b using (id,log_time) where a.id is null or b.id is null;
count
-------
0(1 row)
time: 5.002 ms
t_girl=#
結果為0,證明內容一致。
第四種: 用checksum校驗。
比如在mysql 裡面,如果兩張表的checksum值一致,那麼內容也就一致。
mysql> checksum table t1_old;
+---------------+----------+
| table | checksum |
+---------------+----------+
| t_girl.t1_old | 60614552 |
+---------------+----------+
1 row in set (0.00 sec)
mysql> checksum table t1_new;
+---------------+----------+
| table | checksum |
+---------------+----------+
| t_girl.t1_new | 60614552 |
+---------------+----------+
1 row in set (0.00 sec)
但是這種方法也只侷限於兩表結構一摸一樣。 比如,我修改下表t1_old的字段型別,那麼checksum的值也就不一樣了。
mysql> alter table t1_old modify id bigint;
query ok, 100 rows affected (0.23 sec)
records: 100 duplicates: 0 warnings: 0
mysql> checksum table t1_old;
+---------------+------------+
| table | checksum |
+---------------+------------+
| t_girl.t1_old | 3211623989 |
+---------------+------------+
1 row in set (0.00 sec)
mysql> checksum table t1_new;
+---------------+----------+
| table | checksum |
+---------------+----------+
| t_girl.t1_new | 60614552 |
+---------------+----------+
1 row in set (0.00 sec)
所以從上面幾種資料庫提供的方法來看,用減法來歸零相對來說比較可靠,其他的方法比較適合在特定的情形下來檢測。
原創 如何從資料庫層面檢測兩表內容的一致性
一般來說呢,如何檢測兩張表的內容是否一致,這樣的需求大多在從機上體現,以保證資料一致性。方法無非有兩個,第一呢就是從資料庫著手,第二呢就是從應用程式端著手。我這裡羅列了些如何從資料庫層面來解決此類問題的方法。當然第一步就是檢查記錄數是否一致,否則不用想任何其他方法了。這裡我們用兩張表t1 old,t...
原創 如何從資料庫層面檢測兩表內容的一致性
一般來說呢,如何檢測兩張表的內容是否一致,這樣的需求大多在從機上體現,以保證資料一致性。方法無非有兩個,第一呢就是從資料庫著手,第二呢就是從應用程式端著手。我這裡羅列了些如何從資料庫層面來解決此類問題的方法。當然第一步就是檢查記錄數是否一致,否則不用想任何其他方法了。這裡我們用兩張表t1 old,t...
從資料庫層面理解 隨機 I O 順序 I O
在 談這倆概念前 先來說說 大i o vs.小i o 通常 我們把 16kb的i o認為是小i o 而 32kb的i o認為是大i o 了解i o的大小 影響到後期對快取 raid型別 lun的一些屬性的調優 當前大多數資料庫使用的都是傳統的機械磁碟 因此 整個系統設計要盡可能順序i o 避免昂貴的...