對於一直用oracle的我,今天可是非常詫異,mysql中同乙個函式在不同數量級上的效能居然差距如此之大。
先看錶ibmng(id,title,info) 唯一 id key 索引title
先看看兩條語句:
select * from ibmng limit 1000000,10
select * from ibmng limit 10,10
很多人都會認為不會有多大差別,但是他們都錯了,差別太大了,(可能機器不同有點差距,但絕對10倍以上)具體執行時間留給好奇的同學。
這是為什麼呢,都是offset的錯!
優化的話你可以想方法減小offset,如以下:
select * from ibmng where id >=(
select id from ibmng order by id limit 1000000,1
) limit 10
大家一定會看到問題, limit 1000000,1 同樣offset不是一樣大嗎,肯定不能優化。(但是,又錯了,執行之後才知道結果!)
原因是id是索引,所有快,那麼如下sql呢:
select id from ibmng where title='mysql' order by id limit 1000000,10;
這條sql大家又會猜錯,同樣慢的跟蝸牛一樣。(在此大家都會想title加了索引啊怎麼會這樣!)
接下來大家再執行一條sql如下:
select id from ibmng where title='mysql' limit 1000000,10;
執行之後你會發現速度是sousou的快!
原因看出來了吧,都是用了索引的原因,如果你要用select id from ibmng where title='mysql' order by id limit 1000000,10; 那麼就追加復合索引(title,id )吧!
注意:接下來與limit無關!
最後回到我現在的場景,如果千萬級別的資料分批次讀取統計的話,不要使用limit最好,用主鍵範圍判斷最佳!(eg:id<=1001000 and id>=1000001)
MySQL大資料下Limit使用
對於一直用oracle的我,今天可是非常詫異,mysql中同乙個函式在不同數量級上的效能居然差距如此之大。先看錶ibmng id,title,info 唯一 id key 索引title 先看看兩條語句 select from ibmng limit 1000000,10 select from i...
MySQL大資料LIMIT優化
問題 專案每日遊戲日誌表資料量由原來1w 增長到千萬級別,原先獲取資料方式 select from table一次性取出的資料量太大導致記憶體溢位。既然一次性取資料不行,那就分次處理 1 1.使用limit每次取5w條資料 select from table limit 0,50000 select...
MySQL下Limit使用及效能分析
對於一直用oracle的我,今天可是非常詫異,mysql中同乙個函式在不同數量級上的效能居然差距如此之大。先看錶ibmng id,title,info 唯一 id key 索引title 先看看兩條語句 select from ibmng limit 1000000,10 select from i...