海量資料轉移方案
資料傳輸轉移是系統部署經常涉及到的問題,如何實現海量資料高效轉移傳輸呢?下面以郵政內部資源視覺化系統部署過程為例,講解這裡面的實現方法。
一、
使用傳輸表空間
限制:
a、只能傳輸資料,不能傳輸使用者的儲存過程、函式、物理化檢視等。
b
、表空間必須自包含。該錶空間或者說該組表空間
中的物件,沒有和別的表空間中的物件扯上關係,比如索引
/約束
等。
c
.
8i以上版本。
d
.相同硬體平台。不同硬體平台需要轉換位元組順序。
檢查方法:
execute dbms_tts.transport_set_check(ts_list=>'local',incl_constraints=>true);
引數ts_list
用於指定要搬移的表空間,
incl_constraints
用於指定是否檢查完整性約束。
執行完過程
dbms_tts.transport_set_check
之後,系統將違反自包含表空間的資訊存入臨時表
transport_set_violations
。查詢該錶時,如果沒有返回任何資訊,說明表空間是自包含的.
1.使要轉移的表空間唯讀。
alter tablespace ts_vir read only;
alter tablespace vir_olap read only;
alter tablespace qs_map read only;
alter tablespace yzwd read only; 2.
拷貝資料檔案
copy data
,把錶空間對應的資料檔案複製乙份,到目標資料庫。
3.匯出表空間的資料字典資訊。
exp "'/ as sysdba'"tablespaces=vir_olap,ts_vir,qs_map,yzwdtransport_tablespace=y file=vir_metadata.dmp
4.使表空間可讀寫。
5. 目標資料庫建立使用者。
create user viridentified by vir;
create user vir_olap identified by vir;
create user qs_mapidentified by qs_map;
create user yzwdidentified by yzwd; 6.
賦予許可權。
grant resource,connect to vir,vir_olap,qs_map,yzwd;
7.匯入表空間資訊到目標資料庫。
8.使表空間可讀寫。
二、
使用資料幫浦技術
限制:
a、
10g以上版本使用
b
、伺服器端執行
源資料庫執行:
1.用dba使用者建立邏輯目錄
backupcreate or replace directory backupas '/home/oracle'; 2.
執行匯出
expdp system/system directory=backup dumpfile=vir.dmp schemas=vir,vir_olap,qs_map,yzwd logfile=expdp.log
目標庫執行:3.用
dba使用者建立邏輯目錄
backup
create or replace directory backupas '/home/oracle'; 4.
建立表空間
ts_vir,vir_olap,qs_map,yzwd
,指定足夠大小。
create tablespace name datafile 'e:/oracle/product/10.2.0/oradata/orcl/name.ora' size 600m;
5.建立使用者
vir,vir_olap,qs_map,yzwd
指定密碼,預設表空間
6.拷貝
vir.dmp
到目錄backup
下7.sql
命令視窗執行
exec dbms_metadata_util.load_stylesheets 8.
檢查nls_lang
環境變數,資料庫字符集,是否是
american_america_zhs16gbk
執行匯入
impdp system/systemdumpfile=vir.dmp schemas=vir,vir_olap,qs_map,yzwd logfile=log.txt directory=backup 9.
重新編譯
invalid
的物件。
SQL SERVER定期轉移海量資料方案
sql server定期轉移海量資料方案 背景 有個表比較巨大,每天新增約500萬條記錄。只保留最新7天資料,每天定期移走過期記錄,歸併到歷史庫。採用insert,delete的方法,消耗時間越來越長,平均達到45分鐘,期間該錶和歷史庫根本無法訪問。方案 1 採用分割槽切換,快速清除舊資料 將表按日...
SQL SERVER定期轉移海量資料方案
sql server定期轉移海量資料方案 背景 有個表比較巨大,每天新增約500萬條記錄。只保留最新7天資料,每天定期移走過期記錄,歸併到歷史庫。採用insert,delete的方法,消耗時間越來越長,平均達到45分鐘,期間該錶和歷史庫根本無法訪問。方案 1 採用分割槽切換,快速清除舊資料 將表按日...
ORACLE資料轉移
oracle資料庫版本公升級或者系統伺服器公升級時,會發生全體資料的轉移作業.資料轉移的方法有如下幾種.根據實際情況以及各種方法的優缺點進行選擇.1.database upgrade assistant 通過gui畫面,根據嚮導進行公升級.利用內部的公升級工具,log能夠儲存下來.減少失誤,更加安全...