寫程式也這麼長的時間了,對於程式分頁演算法也有所接觸。飄易一般習慣使用的有兩種分頁演算法,一是傳統的ado分頁,二是select top分頁演算法。對於小型資料表,比如一兩萬的資料量的表,我傾向使用ado演算法,對於大型的資料表,則必須採用後者的演算法了。
先來說說傳統的ado分頁演算法。
這種演算法,使用起來簡單容易,很容易上手,對於小心資料庫來說是首選,其執行效率很高,資料庫自帶的游標功能進行翻頁的時候也很方便。
其通常使用的**如下:
<%dim
recordcountnum,page,i,j
listnum ="
30"'每頁顯示記錄數
sql=
"select id,title,time from table1 order by time desc
"set
rs =
server.createobject (
"adodb.recordset")
rs.open sql,conn,1,
1ifrs.eof
andrs.bof
then
else
recordcountnum
=rs.recordcount
rs.pagesize
=listnum
page
=request(
"page")
ifpage =""
orpage
<
1then
page=1
endif
if(page
-rs.pagecount)
>
0then
page
=rs.pagecount
endif
rs.absolutepage
=pagej=
rs.recordcountj=
j-(page-1
)*listnumi=
0dowhile
notrs.eof
andi
<
listnum
response.write
"每條記錄資訊:"&
rs("id"
)&""
i=i+
1rs.movenext
loop
''翻頁**略……
%>
這種ado游標的分頁演算法,由於每次載入頁面都要重新讀取資料表的全部資料,雖然游標的使用非常簡單,當資料表容量不大的情況下,也是可以使用的;但當資料量非常大的情況下,使用這種分頁方法的效率無疑是極低的。
所以,我們需要引入另外一種高效的select top分頁演算法。**如下:
<%'每頁的記錄數
dimpagesize
pagesize="
30"'讀出總記錄數,總頁數,飄易注
dimtotalrecords,totalpages
sqlstr="
select count(id) as recordsum from table1
"setrs=
conn.execute(sqlstr,0,
1) totalrecords
=rs(
"recordsum")
ifint
(totalrecords
/pagesize)
=totalrecords
/pagesize
then
totalpages
=totalrecords
/pagesize
else
totalpages
=int
(totalrecords
/pagesize)+1
endif
rs.close
setrs
=nothing
'當前頁碼,飄易注
dimpage
page
=request(
"page")
ifisnumeric
(page)
=false
then
response.write ""
response.end
endif
ifpage=""
orpage
<
1then
page=1
ifpage
-totalpages
>
0then
page
=totalpages
page
=int
(page)
ifpage=1
then
sql=
"select top "&
pagesize&"
id,title,time from table1 order by time desc
"else
sql=
"select top "&
pagesize&"
id,title,time from table1 where time<(select min(time) from (select top "&
pagesize
*(page-1
)&"time from table1 order by time desc) as t) order by time desc
"end
ifset
rs =
server.createobject (
"adodb.recordset")
rs.open sql,conn,1,
1dowhile
notrs.eof
response.write
"每條記錄資訊:"&
rs("id"
)&""
rs.movenext
loop
rs.close
setrs
=nothing
''翻頁**省略……
%>
這是一種非常高效的分頁演算法。當資料表中的資料量成百上千萬的時候,上面的這種分頁演算法的響應時間是非常短的,通常在幾十毫秒之內。原理很簡單,就是每次分頁,我只取需要的幾十條記錄而已,使用select top也正是基於這樣的考慮。
上面的兩個分頁演算法的例子中,flymorn都使用了時間欄位time來進行order by排序,因為在我接觸的絕大多數系統中,我們都需要把使用者最近更新(包括新新增的記錄以及新修改過的老記錄)的內容展示在前面,如果僅僅使用自動編號的id作為排序字段的話,使用者編輯過的老資訊將無法展示在前面。這就是flymorn使用時間欄位的原因了。
這裡又涉及到聚合索引的問題了。預設情況下,我們是以自動編號id作為主鍵,並且用作聚合索引列,如果上面的演算法中,使用這樣的id列來排序的話,效率會更高,資料庫響應的時間會更少;然而,我提到了最近更新的內容需要展示在前面的問題,所以,我們必須使用時間欄位來排序。因此,為了更高的分頁效率,我們可以在資料庫設計的時候,把這個時間字段設計為聚合索引列。
通過這樣的設計後,整個分頁效率就會得到非常高的提高了。
然而,把這個時間字段作為聚合索引列,存在又乙個小問題。因為資料表在排列資料的時候,是按照聚合索引列來進行物理排序的,當使用者新增資料的時候,沒有什麼問題,在資料表的末尾新增就行了;當使用者編輯資訊的時候,資料庫需要根據這個聚合索引列,把剛編輯過的資訊也提到表的末尾,這裡就需要耗費一定的時間了。就是說,當我們以時間欄位為聚合索引列的時候,我們就需要在 update 資料的時候多耗費一點的時間。
然而,綜合比較而言,飄易認為,select top的高效分頁演算法的關鍵是要避免全表掃瞄,盡量只獲取需要的字段,排序的字段最好是聚合索引列,實踐表明,以聚合索引列來排序的sql語句的響應時間是最快的。這樣處理之後,對於sql server資料庫來說,即使上千萬的資料量,也不用怕分頁演算法失去響應了。
上面是以 asp 語言為例寫的演算法,當然同樣可以改造成其他的如asp.net,php語言所使用。為了更好的使用這樣的分頁**,大家也可以把上面的演算法改寫成儲存過程。
最後,留乙個小問題:select top分頁的時候,當翻頁到最後的時候,如果排序欄位列不是聚合索引列的時候,程式的響應時間會如何呢?
高效率的分頁儲存過程
create procedure prorobin pagesize int,pageindex int,docount bit as set nocount on if docount 1 select count wzxxbm from ybfld else begin declare inde...
高效率的Access MSSQL分頁的SQL語句
採用access資料庫有許多優點,比如資料庫無須專門的資料庫空間,使用,備份,遷移也非常方便。但一旦資料量到達上萬條,上十萬條甚至更多的時候,access的大資料量的列表分頁效率問題就出現了。用普通的recordset方法來分頁會非常非常慢。所以從sql語句底層,找到高效率的分頁方法才能優化效率,提...
SQLServer大量資料高效率分頁
以下為從大資料量表檢索分頁資料的有效方法 測試時,先從largetable表選出1000條記錄分頁呈現 time segment為資料表字段 declare pagesize int 每頁大小 declare currentpage int 當前頁 set pagesize 2 set curren...