SQL Server資料匯入匯出技術概述與比較

2021-09-07 22:19:28 字數 4340 閱讀 2660

sql server資料匯入匯出技術概述與比較

當我們建立乙個資料庫時,並且想將分散在各處的不同型別的資料庫分類彙總在這個新建的資料庫中時,尤其是在進行資料檢驗、淨化和轉換時,將會面臨很大的挑戰。幸好sql server為我們提供了強大、豐富的資料匯入匯出功能,並且在匯入匯出的同時可以對資料進行靈活的處理。

在sql server中主要有三種方式匯入匯出資料:使用transact-sql對資料進行處理;呼叫命令列工具bcp處理資料;使用資料轉換服務(dts)對資料進行處理。這三種方法各有其特點,下面就它們的主要特點進行比較。

一、使用方式的比較

1. 使用transact-sql進行資料匯入匯出

我們很容易看出,transact-sql方法就是通過sql語句方式將相同或不同型別的資料庫中的資料互相匯入匯出或者匯集在一處的方法。如果是在不同的sql server資料庫之間進行資料匯入匯出,那將是非常容易做到的。一般可使用select into from和insert into。使用 select into from時into後跟的表必須存在,也就是說它的功能是在導資料之前先建立乙個空表,然後再將源表中的資料匯入到新建的空表中,這就相當於表的複製(並不會複製表的索引等資訊)。而insert into的功能是將源資料插入到已經存在的表中,可以使用它進行資料合併,如果要更新已經存在的記錄,可以使用update。

select * into table2 from table1        --table1和table2的表結構相同

insert into table2 select * from table3 --table2和table3的表結構相同

當在異構資料庫之間的進行資料匯入匯出時,情況會變得複雜得多。首先要解決的是如何開啟非sql server資料庫的問題。

在sql server中提供了兩個函式可以根據各種型別資料庫的ole db provider開啟並操作這些資料庫,這兩個函式是opendatasource和openrowset。它們的功能基本上相同,不同之處主要有兩點。

(1) 呼叫方式不同。

opendatasource的引數有兩個,分別是ole db provider和連線字串。使用opendatasource只相當於引用資料庫或者是服務(對於sql server、oracle等資料庫來說)。要想引用其中的資料表或檢視,必須在opendatasource(...)後進行引用。

在sql server中通過opendatasource查詢access資料庫abc.mdb中的table1表

select * from opendatasource('microsoft.jet.oledb.4.0',

'provider=microsoft.jet.oledb.4.0;data source=abc.mdb;persist security

info=false')...

table1

openrowset相當於乙個記錄集,可以將直接當成乙個表或檢視使用。

在sql server中通過openrowsete查詢access資料庫abc.mdb中的table1表

select * from openrowset('microsoft.jet.oledb.4.0', 'abc.mdb';

'admin';'','select * from table1')

(2) 靈活度不同。

opendatasource只能開啟相應資料庫中的表或檢視,如果需要過濾的話,只能在sql server中進行處理。而openrowset可以在開啟資料庫的同時對其進行過濾,如上面的例子,在openrowset中可以使用select * from table1對abc.mdb中的資料表進行查詢,而opendatasource只能引用table1,而無法查詢table1。因此,openrowset比較opendatasource更加靈活。

2. 使用命令列bcp匯入匯出資料

很多大型的系統不僅僅提供了友好的圖形使用者介面,同時也提供了命令列方式對系統進行控制。在sql server中除了可以使用sql語句對資料進行操作外,還可以使用乙個命令列工具bcp對資料進行同樣的操作。

bcp是基於db-library 客戶端庫的工具。它的功能十分強大,bcp能夠以並行方式將資料從多個客戶端大容量複製到單個表中,從而大大提高了裝載效率。但在執行並行操作時要注意的是只有使用基於 odbc 或 sql ole db 的 api 的應用程式才可以執行將資料並行裝載到單個表中的操作。

bcp可以將sql server中的資料匯出到任何ole db所支援的資料庫的,如下面的語句是將authors表匯出到excel檔案中

bcp pubs.dbo.authors out c:/temp1.xls -c -q -s"gnetdata/gnetdata" -u"sa" -p"password"

bcp不僅能夠通過命令列執行,同時也可以通過sql執行,這需要乙個系統儲存過程xp_cmdshell來實現,如上面的命令可改寫為如下形式。

exec master..xp_cmdshell 'bcp pubs.dbo.authors out

c:/temp1.xls -c -q -s"gnetdata/gnetdata" -u"sa" -p"password"'

3. 使用資料轉換服務(dts)匯入匯出資料

dts是sql server中匯入匯出資料的核心,它除有具有sql和命令列工具bcp相應的功能外,還可以靈活地通過vbscript、jscript等指令碼語言對資料進行檢驗、淨化和轉換。

sql server為dts提供了圖形使用者介面,使用者可以使用圖形介面匯入匯出資料,並對資料進行相應的處理。同時,dts還以com元件的形式提供程式設計介面,也就是說任何支援com元件的開發工具都可以利用com元件使用dts所提供的功能。dts在sql server中可以儲存為不同的形式,可以是包的形式,也可以儲存成visual basic源程式檔案,這樣只要在vb中編譯便可以使用dts com元件了。

dts和其它資料匯入匯出方式最大的不同就是它可以在處理資料的過程中對每一行資料進行深度處理。以下是一段vbscript**,這段**在處dts理每一條記錄時執行,dtsdestination表示目標記錄,dtssource表示源記錄,在處理「婚姻狀況」時,將源記錄中的「婚姻狀況」中的0或1轉換成目標記錄中「已婚」或「未婚」。

function main()

dtsdestination("姓名") = dtssource("姓名")

dtsdestination("年齡") = dtssource("年齡")

if dtsdestination("婚姻狀況") = 1 then

dtsdestination("婚姻狀況") = "已婚"

else

dtsdestination("婚姻狀況") = "未婚"

end if

main = dtstransformstat_ok

end function

上述的三種資料匯入匯出方法各有其利弊,它們之間的相互比較如圖1如示。

二、效能的比較

使用transact-sql方式。如果是sql server資料庫之間的匯入匯出,速度將非常快,但是使用opendatasource和openrowset方法利用ole db provider開啟並運算元據庫時速度會慢一些。

使用bcp命令方式。如果不需要對資料進行驗證等操作的話,使用它還是非常快的,這是因為它的內部使用c介面的db-library,所以在運算元據庫時速度有很大的提公升。

使用dts方式導資料應該是最好的方式了。由於它整合了microsoft universal data access技術與microsoft activex技術,因此不僅可以靈活地處理資料,而且在資料匯入匯出的效率是非常高的。

總結 sql server提供了豐富的資料匯入匯出方法,這給我們提供了更多的選擇,但是這又會給我們帶來乙個新問題:如何根據具體情況選擇合適的資料匯入匯出方法呢?我在這裡提供一些個人的建議,希望能對讀者起到一定的指導作用。

如果是在sql server資料庫之間進行資料匯入匯出時,並且不需要對資料進行複雜的檢驗,最好使用transact-sql方法進行處理,因為在sql server資料庫之間進行資料操作時,sql是非常快的。當然,如果要進行複雜的操作,如資料檢驗、轉換等操作時,最好還是使用dts進行處理,因為dts不光導資料效率高,而且能夠對資料進行深度控制。但是dts的程式設計介面是基於com的,並且這個介面十分複雜,因此,使用程式呼叫dts將變也會變得很複雜,因此, 當資料量不是很大,並且想將資料匯入匯出功能加入到程式中,而且沒有複雜的資料處理功能時,可以使用opendatasource或openrowset進行處理。

bcp命令並不太適合通過程式來呼叫,如果需要使用批量的方式導資料,可以通過批處理檔案呼叫bcp命令,這樣做即不需要編寫大量的程式,也無需在企業管理器中通過各種操作介面的切換來進行資料匯入匯出。因此,它比較適合在客戶端未安企業管理器或使用sql server express時對資料進行快速匯入匯出的場合。

SQL Server資料的匯入匯出

這裡簡單記錄一下如何使用bcp工具進行資料的匯入匯出。首先bcp是sql server自帶的工具,所以只要你安裝了sql server後就自帶了。在cmd中輸入cmd,你會發現他的一些引數說明選項。具體的引數選項大家可以在具體用到的時候再去檢視,這裡就不一一解釋了 實際上我也用的不多 乙個最簡單的匯...

SQL Server資料的匯入匯出

sql server 2008的匯入匯出服務可以實現不同型別的資料庫系統的資料轉換。為了讓使用者可以更直觀的使用匯入匯出服務,微軟提供了匯入匯出嚮導。匯入和匯出嚮導提供了一種從源向目標複製資料的最簡便的方法,可以在多種常用資料格式之間轉換資料,還可以建立目標資料庫和插入表。excel 其他 ole ...

SQL Server大容量匯入匯出

今天公司要做大容量資料轉移,所以研究了下這方面的知識。主要是從將db1的資料表轉移到db2,考慮到效率決定用bcp來做,這個工具還是蠻不錯的。其實本來想用複製功能的,那個有點麻煩,dts太慢了。下面就來說說bcp這個工具吧 bcp 實用工具在 microsoft sql server 2000 例項...