超大檔案的copy
一 幾g或幾十g的檔案的copy
例如需要拷貝exe,iso到遠端的機器上,我們可以使用如下的方法:
多執行緒copy:
1) split + copy + cat [split and cat are linux command, you can get them from unxutils]
2) zip(into many parts) + copy + unzip [or can use 7z instead of zip]
增量copy:
3) rsync [incrementally transfer]
二 幾百g上至上t的檔案的copy
例如資料庫檔案等得備份,需要對copy工具具備unbuffered input/output (i/o)功能(即不將檔案快取在記憶體中),否則機器的記憶體會被耗完然後導致copy失敗:
1)eseutil.exe 可以從exchange server的安裝目錄中獲得,需要拷貝以下的3個檔案:
ese.dll
eseutil.exe
exchmem.dll
eseutil.exe的使用如下:
eseutil.exe /y /d
2)對於win7或windows2008可以對xcopy使用/j來關閉buffered功能,如下:
/j copies using unbuffered i/o. recommended for very large files.
三 注意
在copy後使用md5對檔案驗證,確保檔案被正確的copy。
四 參考
how to: copy very large files across a slow or unreliable network
完!
超大檔案的copy
超大檔案的copy 一 幾g或幾十g的檔案的copy 例如需要拷貝exe,iso到遠端的機器上,我們可以使用如下的方法 多執行緒copy 1 split copy cat split and cat are linux command,you can get them from unxutils 2...
php 讀取超大檔案
php開發很多時候都要讀取大檔案,比如csv檔案 text檔案等。這些檔案如果很大,比如10個g。這時,直接一次性把所有的內容讀取到記憶體中計算不太現實。遇到這種情況,往往覺得php太弱,實則不然。利用生成器 關鍵字yield 就能解決。好了,上 created by phpstorm.user a...
超大檔案編碼轉換
最近導資料,從gbk轉到utf8,檔案太大了120多m,普通編輯器無法開啟 網上有人用vim轉換,成功率也很高,iconv有時候不能轉換 如開啟windows中以ansi儲存的檔案 vim file.txt c e enc gb18030 在vim中直接進行轉換檔案編碼,比如將乙個檔案轉換成utf ...