高效的MySql 隨機讀取資料

2021-05-25 04:57:02 字數 2707 閱讀 5820

一直以為mysql隨機查詢幾條資料,就用

select

* from

`table

`order

byrand

()limit

5

但是真正測試一下才發現這樣效率非常低。乙個15萬餘條的庫,查詢5條資料,居然要8秒以上

檢視官方手冊,也說rand()放在order by 子句中會被執行多次,自然效率及很低。

you cannot use a column with rand() values in an order by clause, because order by would evaluate the column multiple times.

搜尋google,網上基本上都是查詢max(id) * rand()來隨機獲取資料。

select

*from

`table`as

t1join

(select

round

(rand

()*

(select

max(id)

from

`table`)

)asid)

ast2

wheret1.

id>= t2.

idorder

byt1.id

asclimit5;

但是這樣會產生連續的5條記錄。解決辦法只能是每次查詢一條,查詢5次。即便如此也值得,因為15萬條的表,查詢只需要0.01秒不到。

上面的語句採用的是join,mysql的論壇上有人使用

select

*from

`table

`where

id>=

(select

floor

(max(id

)* rand

())from

`table`)

order

byid

limit1;

我測試了一下,需要0.5秒,速度也不錯,但是跟上面的語句還是有很大差距。總覺有什麼地方不正常。

於是我把語句改寫了一下。

select

* from

`table

`where

id>=

(select

floor

(rand

()*

(select

max(id)

from

`table`)

))order

byid

limit1;

這下,效率又提高了,查詢時間只有0.01秒

最後,再把語句完善一下,加上min(id)的判斷。我在最開始測試的時候,就是因為沒有加上min(id)的判斷,結果有一半的時間總是查詢到表中的前面幾行。

完整查詢語句是:

select

* from

`table

`where

id>=

(select

floor

(rand

()*

((select

max(id)

from

`table`)

-(select

min(id)

from

`table`)

)+ (select

min(id)

from

`table`)

))order

byid

limit1;

select

*from

`table`as

t1join

(select

round

(rand

()*

((select

max(id)

from

`table`)

-(select

min(id)

from

`table`)

)+(select

min(id)

from

`table`)

)asid)

ast2

wheret1.

id>= t2.

idorder

byt1.id

limit1;

最後在php中對這兩個語句進行分別查詢10次,

前者花費時間 0.147433 秒

後者花費時間 0.015130 秒

看來採用join的語法比直接在where中使用函式效率還要高很多。

select arc.*,tp.*

from `hahasdde` arc join(select (rand() * (select max(id) from `hahasdde`)) as id) arc2

left join `dededew` tp on arc.typeid=tp.id

where arc.typeid in (36) and arc.arcrank > -1 and arc.id >=arc2.id

limit 0,20

高效快速不重複隨機讀取資料庫mysql資料方式

很多 都有乙個隨便看看功能,常見的實現方式是通過資料庫的rand 函式來隨機排序實現獲取隨機的資料,但是效率不高,並且每次獲取的資料沒有關聯,會出現重複的資料。如果業務上需要隨機讀取表中的資料,但是每次讀取的資料不能重複怎麼實現呢 我在網上找了一圈,沒有找到可行方案,最後自己想到了乙個方法 如果資料...

mysql隨機顯示記錄 MySQL隨機讀取表中記錄

order by rand 來實現 select from table order by rand 記憶體臨時表 order by rand 是一般通過記憶體臨時表排序,可以通過執行計畫explain中extra欄位顯示using temporary觀察到。由於是記憶體排序,回表過程不涉及機械磁碟i...

TensorFlow高效讀取資料的方法

tfrecords其實是一種二進位制檔案,用來儲存 tf.train.example協議記憶體塊 protocol buffer 乙個example中包含features,features裡包含乙個名字為feature的字典,裡面是 key value 對,value是 乙個floatlis byt...