超大檔案的copy

2022-02-18 11:03:12 字數 901 閱讀 3767

超大檔案的copy

一 幾g或幾十g的檔案的copy

例如需要拷貝exe,iso到遠端的機器上,我們可以使用如下的方法:

多執行緒copy:

1) split + copy + cat [split and cat are linux command, you can get them from unxutils]

2) zip(into many parts) + copy + unzip  [or can use 7z instead of zip]

增量copy:

3) rsync [incrementally transfer]

二 幾百g上至上t的檔案的copy

例如資料庫檔案等得備份,需要對copy工具具備unbuffered input/output (i/o)功能(即不將檔案快取在記憶體中),否則機器的記憶體會被耗完然後導致copy失敗:

1)eseutil.exe 可以從exchange server的安裝目錄中獲得,需要拷貝以下的3個檔案:

ese.dll

eseutil.exe

exchmem.dll

eseutil.exe的使用如下:

eseutil.exe /y /d

2)對於win7或windows2008可以對xcopy使用/j來關閉buffered功能,如下:

/j           copies using unbuffered i/o. recommended for very large files.

三 注意

在copy後使用md5對檔案驗證,確保檔案被正確的copy。

四 參考

how to: copy very large files across a slow or unreliable network

完!

超大檔案的copy

超大檔案的copy 一 幾g或幾十g的檔案的copy 例如需要拷貝exe,iso到遠端的機器上,我們可以使用如下的方法 多執行緒copy 1 split copy cat split and cat are linux command,you can get them from unxutils 2...

php 讀取超大檔案

php開發很多時候都要讀取大檔案,比如csv檔案 text檔案等。這些檔案如果很大,比如10個g。這時,直接一次性把所有的內容讀取到記憶體中計算不太現實。遇到這種情況,往往覺得php太弱,實則不然。利用生成器 關鍵字yield 就能解決。好了,上 created by phpstorm.user a...

超大檔案編碼轉換

最近導資料,從gbk轉到utf8,檔案太大了120多m,普通編輯器無法開啟 網上有人用vim轉換,成功率也很高,iconv有時候不能轉換 如開啟windows中以ansi儲存的檔案 vim file.txt c e enc gb18030 在vim中直接進行轉換檔案編碼,比如將乙個檔案轉換成utf ...