達夢8技術支援筆記(11)

2022-09-11 04:15:09 字數 1204 閱讀 7291

dmetl問題學習

1、如何選擇合適的增量抽取方式?

可以根據各種增量抽取方式的特點來選擇合適的增量抽取方式,各種方式的

特點如下:

觸發器增量抽取方式:對etl 伺服器的負擔較小,實現簡潔,需要在源資料

庫中建立觸發器,適用於資料量大的表,實時性要求較高的場合。

影子表增量抽取方式:通過對比影子表和原表的差異來捕獲變更資料,適用

於不能建立觸發器的地方,以及實時性要求要求不高的場合。

md5 增量抽取方式:通過計算資料的md5 值來捕獲變化資料,與影子表方式

類似,適用於不能建立觸發器的地方以及實時性要求不高的場合,與影子表增量

相比其效能稍差,但是md5 表的字段數通常比影子表上,占用的空間較少,在存

儲空間不受限制的情況下應該盡量採用影子表增量方式代替md5 增量。

時間戳增量抽取方式:這種方式要求在源表的裡面存在乙個可以標識記錄版

本的字段,每次資料變化時,該字段的值也發生變化,該欄位型別可以是時間戳

字段,也可以是其它型別的字段,例如sqlserver 中的timestamp 字段以及

rowvision 字段。

2、增量表元件除了讀取增量資料集中的資料外,還會記錄增量抽取相關的狀態資訊,以保證資料抽取沒有重複和遺漏。表元件之做插入操作,增量表元件會根據操作列來決定是進行插入、更新或者刪除操作。

3、週期性排程中「每」和「每隔」有什麼區別?

「每」是指兩次流程執行開始時刻之間的間隔,「每隔」是指上次流程執行

結束與這次流程執行開始的時間間隔。

4、作業

1) 轉換流程與作業流程的區別?

轉換流程和作業流程的區別如下:

a) 轉換是處理資料的,作業是工作流,用於控制各種轉換和功能的執行順序。

b) 轉換一旦開始執行,轉換中所有的節點是並行執行的。而作業中的節點是按照連線線的順序執行的,只有上乙個節點執行完成後,下乙個節點才開始且節點和節點之間沒有資料傳遞。

2) 完成線與成功線的區別?

3) 作業流程中如何設定條件分支?

可以在作業元件上從黑色箭頭中拖出幾個條件線(),在不同的條件線上設定不同的條件,即可實現分支。

5、全量資料抽取時如何實現持斷點續傳?

a) 可以使用變數實現斷點續傳,具體說明見典型示例《基於變數實現斷點續傳》

b) 可以通過資料讀取節點上的資料條數設定,跳過已經讀取的資料來手工實現斷點續傳

達夢8技術支援筆記(12)

dm審計分析工具 1 主要功能 審計規則的建立與修改,審計記錄的檢視與匯出 2 審計開關和許可權 在dm 系統中,專門為審計設定了開關,要使用審計功能首先要開啟審計開關。審計開 關由過程void sp set enable audit param int 控制,過程執行完後會立即 生效,param ...

達夢8技術支援筆記(10)

一 外部表 external 1 不支援mpp,模式名預設為當前使用者 2 不能存在大字段,約束,索引 3 唯讀,不存在表鎖,不允許truncate 4 支援rowid user,uid偽列,不支援tid 5 ctl中預設編碼方式gbk 二 列表 huge 表檔案只存資料,mir負責映象,表名 au...

達夢8技術支援筆記(9)

1 資料庫訪問優化法則簡介 從圖上可以看到基本上每種裝置都有兩個指標 延時 響應時間 表示硬體的突發處理能力 頻寬 吞吐量 代表硬體持續處理能力。從上圖可以看出,計算機系統硬體效能從高到代依次為 cpu cache l1 l2 l3 記憶體 ssd硬碟 網路 硬碟 根據資料庫知識,我們可以列出每種硬...