超大檔案的copy

超大檔案的copy

一 幾g或幾十g的檔案的copy

例如需要拷貝exe，iso到遠端的機器上，我們可以使用如下的方法：

多執行緒copy:

1） split + copy + cat [split and cat are linux command, you can get them from unxutils]

2） zip(into many parts) + copy + unzip  [or can use 7z instead of zip]

增量copy：

3） rsync [incrementally transfer]

二 幾百g上至上t的檔案的copy

例如資料庫檔案等得備份，需要對copy工具具備unbuffered input/output (i/o)功能（即不將檔案快取在記憶體中），否則機器的記憶體會被耗完然後導致copy失敗：

1）eseutil.exe 可以從exchange server的安裝目錄中獲得，需要拷貝以下的3個檔案：

ese.dll

eseutil.exe

exchmem.dll

eseutil.exe的使用如下：

eseutil.exe /y /d

2）對於win7或windows2008可以對xcopy使用/j來關閉buffered功能，如下：

/j           copies using unbuffered i/o. recommended for very large files.

三 注意

在copy後使用md5對檔案驗證，確保檔案被正確的copy。

四 參考

how to: copy very large files across a slow or unreliable network

完！

超大檔案的copy

超大檔案的copy 一 幾g或幾十g的檔案的copy 例如需要拷貝exe，iso到遠端的機器上，我們可以使用如下的方法 多執行緒copy 1 split copy cat split and cat are linux command,you can get them from unxutils 2...

php 讀取超大檔案

php開發很多時候都要讀取大檔案，比如csv檔案 text檔案等。這些檔案如果很大，比如10個g。這時，直接一次性把所有的內容讀取到記憶體中計算不太現實。遇到這種情況，往往覺得php太弱，實則不然。利用生成器 關鍵字yield 就能解決。好了，上 created by phpstorm.user a...

超大檔案編碼轉換

最近導資料，從gbk轉到utf8,檔案太大了120多m，普通編輯器無法開啟 網上有人用vim轉換，成功率也很高，iconv有時候不能轉換 如開啟windows中以ansi儲存的檔案 vim file.txt c e enc gb18030 在vim中直接進行轉換檔案編碼,比如將乙個檔案轉換成utf ...