**:
mysql:快速隨機選取一條記錄的思考
2023年07月14日 星期三 10:43
標籤: mysql
隨機 分類: mysql
2010-03-04 12:23
本文討論的是如何從mysql乙個資料表中提取一條隨機的效率,同時要保證效率最高。
方法一
這是最原始最直觀的語法,如下:
select * from foo order by rand() limit 1
當資料表中資料量較小時,此方法可行。但當資料量到達一定程度,比如100萬資料或以上,就有很大的效能問題。如果你通過explain來分析這個 語句,會發現雖然mysql通過建立一張臨時表來排序,但由於order by和limit本身的特性,在排序未完成之前,我們還是無法通過limit來獲取需要的記錄。亦即,你的記錄有多少條,就必須首先對這些資料進行排序。
方法二
看來對於大資料量的隨機資料抽取,效能的癥結出在order by上,那麼如何避免?方法二提供了乙個方案。
首先,獲取資料表的所有記錄數:
select count(*) as num_rows from foo
然後,通過對應的後台程式記錄下此記錄總數(假定為num_rows)。
然後執行:
select * from foo limit [0到num_rows之間的乙個隨機數],1
上面這個隨機數的獲得可以通過後台程式來完成。此方法的前提是表的id是連續的或者自增長的。
這個方法已經成功避免了order by的產生。
方法三
有沒有可能不用order by,用乙個sql語句實現方法二?可以,那就是用join。
select * from bar b join (select ceil(max(id)*rand()) as id from bar) as m on b.id >= m.id limit 1;
此方法實現了我們的目的,同時,在資料量大的情況下,也避免了order by所造成的所有記錄的排序過程,因為通過join裡面的select語句實際上只執行了一次,而不是n次(n等於方法二中的num_rows)。而且, 我們可以在篩選語句上加上「大於」符號,還可以避免因為id好不連續所產生的記錄為空的現象。
還有更好的方案嗎?有待總結。
第二篇文章
**:
在mysql中查詢5條不重複的資料,使用以下:
select
* from
`table
`order
byrand
()limit5
就可以了。但是真正測試一下才發現這樣效率非常低。乙個15萬餘條的庫,查詢5條資料,居然要8秒以上
搜尋google,網上基本上都是查詢max(id) * rand()來隨機獲取資料。
select
* from
`table`as
t1join
(select
round
(rand
()*
(select
max(id)
from
`table`))
asid)as
t2wheret1.
id>= t2.
idorder
byt1.id
asclimit5;
但是這樣會產生連續的5條記錄。解決辦法只能是每次查詢一條,查詢5次。即便如此也值得,因為15萬條的表,查詢只需要0.01秒不到。
上面的語句採用的是join,mysql的論壇上有人使用
select
* from
`table
`where
id>=
(select
floor
(max(id
)* rand
())from
`table`)
order
byid
limit1;
我測試了一下,需要0.5秒,速度也不錯,但是跟上面的語句還是有很大差距。總覺有什麼地方不正常。
於是我把語句改寫了一下。
select
* from
`table
`where
id>=
(select
floor
(rand
()*
(select
max(id)
from
`table
`)))
order
byid
limit1;
這下,效率又提高了,查詢時間只有0.01秒
最後,再把語句完善一下,加上min(id)的判斷。我在最開始測試的時候,就是因為沒有加上min(id)的判斷,結果有一半的時間總是查詢到表中的前面幾行。
完整查詢語句是:
select
* from
`table
`where
id>=
(select
floor
(rand
()*
((select
max(id)
from
`table`)
-(select
min(id)
from
`table`))
+ (select
min(id)
from
`table
`)))
order
byid
limit1;
select
* from
`table`as
t1join
(select
round
(rand
()*
((select
max(id)
from
`table`)
-(select
min(id)
from
`table`))
+(select
min(id)
from
`table`))
asid)as
t2wheret1.
id>= t2.
idorder
byt1.id
limit1;
最後對這兩個語句進行分別查詢10次,
前者花費時間0.147433 秒
後者花費時間0.015130 秒
看來採用join的語法比直接在where中使用函式效率還要高很多
mysql隨機查一條
mysql select rand rand 0.048264377795406 1 row in set 0.00 sec mysql select rand rand 0.557701361885016 1 row in set 0.00 sec mysql select rand rand 0...
SQL語句隨機抽取一條記錄
我們經常想在乙個資料表中隨機地選取出資料來,比如隨機生成考試試卷等。利用 sql server 的 newid 方法就可以很輕鬆地達到這個目的。newid 方法返回乙個 guid,如 ee95a489 b721 4e8a 8171 3ca8cb6ad9e4 在 select 表的時候,再增加一列為 ...
上一條記錄下一條記錄
select top 1 from 表 where id 當前id order by id desc select top 1 from 表 where id 當前id order by id desc 上一條記錄 select top 1 blogid from gcc bloginfo wher...