原博:mysql單錶百萬資料記錄分頁效能優化 limit優化
當資料很多需要進行分頁查詢時:需要先查出第一條資料的id然後根據id查詢大於id的資料 limt 一頁的資料量
1. 直接用limit start, count分頁語句, 也是我程式中用的方法:
select * from product limit start, count
當起始頁較小時,查詢沒有效能問題,我們分別看下從10, 100, 1000, 10000開始分頁的執行時間(每頁取20條), 如下:
select * from product limit 10, 20 0.016秒
select * from product limit 100, 20 0.016秒
select * from product limit 1000, 20 0.047秒
select * from product limit 10000, 20 0.094秒
我們已經看出隨著起始記錄的增加,時間也隨著增大, 這說明分頁語句limit跟起始頁碼是有很大關係的,那麼我們把起始記錄改為40w看下(也就是記錄的一般左右) select * from product limit 400000, 20 3.229秒
再看我們取最後一頁記錄的時間
select * from product limit 866613, 20 37.44秒
難怪搜尋引擎抓取我們頁面的時候經常會報超時,像這種分頁最大的頁碼頁顯然這種時
間是無法忍受的。
從中我們也能總結出兩件事情:
1)limit語句的查詢時間與起始記錄的位置成正比
2)mysql的limit語句是很方便,但是對記錄很多的表並不適合直接使用。
2. 對limit分頁問題的效能優化方法
利用表的覆蓋索引來加速分頁查詢
我們都知道,利用了索引查詢的語句中如果只包含了那個索引列(覆蓋索引),那麼這種情況會查詢很快。
在我們的例子中,我們知道id欄位是主鍵,自然就包含了預設的主鍵索引。現在讓我們看看利用覆蓋索引的查詢效果如何:
這次我們之間查詢最後一頁的資料(利用覆蓋索引,只包含id列),如下:
select id from product limit 866613, 20 0.2秒
相對於查詢了所有列的37.44秒,提公升了大概100多倍的速度
那麼如果我們也要查詢所有列,有兩種方法,一種是id>=的形式,另一種就是利用join,看下實際情況:
select * from product where id > =(select id from product limit 866613, 1) limit 20
查詢時間為0.2秒,簡直是乙個質的飛躍啊,哈哈
另一種寫法
select * from product a join (select id from product limit 866613, 20) b on a.id = b.id
查詢時間也很短,贊!
其實兩者用的都是乙個原理嘛,所以效果也差不多
資料庫 分頁查詢優化
select top10 from admin where adminid notin select top1500000 adminid from admin 使用not in會引發全表掃瞄 理論上會,由於資料庫會對查詢進行優化,所以實際我並不知道會不會 其用時如下 cpu 時間 562 毫秒,占...
MySQL 資料庫 分頁查詢
在使用mysql 進行資料庫分頁查詢的時候最主要是使用limit子句進行查詢 limit子句可以用來限制由select語句返回過來的資料數量,它有乙個或兩個引數,如果給出兩個引數,第乙個引數指定返回的第一行在所有資料中的位置,從0開始 注意不是1 第二個引數指定最多返回行數。例如 select fr...
MySQL 資料庫 分頁查詢
在使用mysql 進行資料庫分頁查詢的時候最主要是使用limit子句進行查詢 limit子句可以用來限制由select語句返回過來的資料數量,它有乙個或兩個引數,如果給出兩個引數,第乙個引數指定返回的第一行在所有資料中的位置,從0開始 注意不是1 第二個引數指定最多返回行數。例如 select fr...