實現報表資料外接計算

在報表應用中，針對歷史資料查詢的報表佔比很大，這類報表的特點是：第一，資料變化小，查詢的歷史資料幾乎不會發生變化；第二，資料量大，而且還會隨時間不斷增加。如果這些歷史資料始終存放在資料庫中，由於大多數資料庫的 jdbc 效能都很低下（取數過程的資料物件轉換比從檔案中讀取資料慢乙個數量級），當涉及資料量較大或併發較多的時候，報表的效能會急劇下降。顯然，如果能將這些變化不大的歷史資料移出資料庫，採用檔案系統儲存，就可以獲得比資料庫高得多的 io 效能，從而提高報表的整體效能。

但是，報表並不能直接使用原始資料，都需要運算（比如查詢彙總）之後再進行呈現，而檔案本身沒有計算能力，因此無法提供報表需要的結果。此外，使用檔案儲存的資料量一般都很大，僅靠報表呈現端很難實現高效的計算。

對於潤幹報表來說，這種需求完全可以在內建集算引擎的幫助下做到，稱為庫外檔案計算，或資料外接計算。所支援的檔案型別包括：文字、excel、json 格式檔案等，還支援效率更高的二進位制檔案。

通過資料外接計算，將較大資料量的歷史資料從資料庫中剝離，除了可以滿足歷史查詢類報表的效能需求外，還可以實現混合資料來源（檔案 + 資料庫）的計算，進而實現大資料量的實時資料查詢，比如從檔案系統中讀取往期大量的歷史資料，從資料庫中讀取當期較小量的實時資料進行混合計算。由此，一方面可以避免資料庫的 io 瓶頸，快速提公升報表效能，增大資料查詢範圍；另一方面，將歷史資料移出，資料庫可以專注於保證業務系統資料的一致性，而不是耗費資源在大量的歷史查詢任務上，這也是一種資料庫優化的手段。

下面用乙個例子說明潤幹報表實現資料外接計算（結合集算器實現）的步驟：

1、 將資料庫中歷史資料匯出到檔案

使用者可以自行選擇適當的方法將歷史資料匯出到檔案，當然這個過程也可以使用集算器來做，比如將資料匯出到文字。如果希望更高的效能，還可以使用比文字能快 2-5 倍的二進位制檔案格式。在集算器中使用以下**可將文字檔案轉換成二進位制格式。

file("e:/訂單明細.b").export@b(file(「e:/訂單明細.txt」.cursor())

指令碼中使用的引數及其含義如下：

指令碼：a

1=file(「e:/ 訂單明細.txt」).cursor@t()

2=a1.select(貨主國家 ==county && 貨主地區 ==area && 貨主城市 ==city && 訂購日期 >=begin && 訂購日期 <=end)

3=a2.groups(客戶 id;count( 訂單 id): 訂單數量,sum(訂單金額): 訂單總額 )

4return a3

**說明：

a1：通過檔案游標採用流式處理的方式讀入大文字；

a2：按照指定的多個維度進行資料過濾，結果仍然是游標；

a3：根據選出的結果，按照客戶 id 彙總訂單數量和訂單金額；

a4：為報表返回結果集。

前面提到，潤幹報表既可以針對單獨的檔案（匯出的歷史資料）進行查詢計算，還可以進行檔案 + 資料庫的混合運算，進行大資料量實時查詢。a1

=file(「e:/ 訂單明細.txt」).cursor@t()

2=a1.select(訂購日期 >=begin && 訂購日期 <=end)

3=a2.groups(客戶 id;count( 訂單 id): 訂單數量,sum(訂單金額): 訂單金額 )

4=connect(「cmos」)

5=a4.cursor(「select 客戶 id,count( 訂單 id) 訂單數量,sum(訂單金額) 訂單金額 from 訂單明細 where 貨主國家 =? and 貨主地區 =? and 貨主城市 =? and 訂購日期 >? and 訂購日期 group by 客戶 id」,county,area,city,begin,end)

6=[a3,a5.fetch()].conj()

7>a4.close()

8=a6.groups(客戶 id;sum( 訂單數量): 訂單總量,sum(訂單金額): 訂單總額 )

9return a7

**說明：

a5：根據指定引數執行 sql，彙總當期資料；

a6：將兩部分彙總資料合併（縱向拼接）；

a8：根據合併後的歷史和當期彙總資料再次彙總，得到各客戶的訂單數量和訂單金額。

3 在潤幹報表中呼叫集算指令碼，編輯報表表示式完成報表製作

資料集配置如下：

報表配置如下：

通過以上過程可以清晰的看到，潤幹報表可以通過資料外接提公升報表效能，解決對往期歷史 + 當期資料進行查詢時效能不高的問題。

實現報表資料外接計算

在報表應用中，針對歷史資料查詢的報表佔比很大，這類報表的特點是 第一，資料變化小，查詢的歷史資料幾乎不會發生變化 第二，資料量大，而且還會隨時間不斷增加。如果這些歷史資料始終存放在資料庫中，由於大多數資料庫的 jdbc 效能都很低下 取數過程的資料物件轉換比從檔案中讀取資料慢乙個數量級 當涉及資料量...

實現報表資料預先計算

報表應用中，如果資料量較大或計算過程較複雜，往往會導致報表資料來源準備過慢，從而影響報表效能。這種情況下可以預先計算報表需要的資料，在呈現時直接引用，使得使用者在訪問報表時可以迅速地獲得響應。由於報表在訪問時常常需要引數，因此顯然不可能把所有引數組合對應的報表資料來源都準備好，所以預先計算通常只生成...

實現報表資料預先計算

報表應用中，如果資料量較大或計算過程較複雜，往往會導致報表資料來源準備過慢，從而影響報表效能。這種情況下可以預先計算報表需要的資料，在呈現時直接引用，使得使用者在訪問報表時可以迅速地獲得響應。由於報表在訪問時常常需要引數，因此顯然不可能把所有引數組合對應的報表資料來源都準備好，所以預先計算通常只生成...