使用程式大資料量匯入到資料庫的思路

2021-04-23 11:02:59 字數 354 閱讀 9111

提問:

百萬級的資料在txt檔案中匯入到oracl 9i 中用b/s做 還要做進度條,這個程式我已經做一半了,先把檔案上傳到伺服器上,在批量插入的時候還是很慢,誰有好的辦法,或者有原**的也行,謝謝

答覆:我只提示一下,我們還有多執行緒啊!

你應該考慮一下

生產者:文字檔案,建議乙個執行緒

消費者:從生產者讀取一行資料,然後解析,然後插入資料庫, 建議10-20個執行緒

提交要使用批量提交,batchupdate操作,不要每一次insert就提交一次。

100萬資料,普通的破機器,應該在2分鐘內完成。 04年,1000萬的資料,我用了25分鐘,普通的pc機,2g的記憶體,p4 3.0g

大資料量mysql檔案匯入程式

phymyadmin data importer www.ebugs.org 用來快速mysql的大資料備份 使用前請首先按照 注釋修改要匯入的sql檔名 資料庫主機名 資料庫使用者名稱 密碼 資料庫名 同時將資料庫檔案和本文本一起ftp導 目錄,然後以web方式訪問此檔案即可 file name ...

sqlldr 匯入大資料量資料

最近在處理一些資料,資料量比較大的資料,記錄下使用方法和過程,以備日後檢視 如果使用insert插入超過1000條時間就有點長了 5 6分鐘 使用plsql的text import 匯入8萬條耐心等一會也可以忍受,但是我們要處理的是500萬條資料,嘗試了幾種方法,最後選擇了sqlldr 首先會有乙個...

Excel資料匯入到資料庫

使用表單檔案域 input type file 時,要讓form能夠傳遞檔案的話,必須要在form標籤中加入enctype multipart form data 後台 var contents oldrow 內容 tostring trim if contents.length 0 else if...