在linux下有乙個檔案，其中資料是按行報錯的，需要取出想要的資料：
第一步：
將其中需要匯出的行先導出：
sudo grep '|' preg.log >> result.txt
上面的意思是將所有包含豎線的行匯出到result.txt檔案。
第二步：
將result.txt中重複的行去重：
cat result.txt |sort -u > ./result1.txt
然後想要的資料就在result1.txt中了。
end.
另外其實可以寫乙個shell指令碼去執行，但是沒有命令列這麼簡單。我這個檔案大概只有幾百k，用命令列還是比較快速的。
dd命令建立乙個大檔案
dd命令可以建立指定大小的檔案 命令 dd if dev zero of test bs 1m count 1000 會在當前目錄下生成乙個大小為1m 1000 1000m大小的test.img檔案，它的內容都是0 因從 dev zero中讀取，dev zero為0源 if 輸入檔案 of 輸出檔案...
讀取乙個大檔案的高效的方法
記憶體對映 最為基本的功能之一，win32 api和mfc均提供有支援檔案處理的函式和類，常用的有win32 api的createfile writefile readfile 和mfc提供的cfile類等。一般來說，以上這些函式可以滿足大多數場合的要求，但是對於某些特殊應用領域所需要的動輒幾十gb...
Python將多個檔案合成乙個大檔案，忽略非法字元
想把一堆檔案合成乙個大檔案，但是裡面有好多無法識別的字元，每次執行總是抱錯，最後找到了codecs的ignore相當好用 import os import codecs 遇到非法字元時，不報錯，直接寫入後繼續執行 wfile codecs.open d output.log w utf 8 igno...