Linux命令之大檔案切分與合併

2021-06-23 06:35:57 字數 1450 閱讀 8465

當面臨將乙個大檔案進行切分時，linux的split命令是很好的選擇。它包含多種引數，支援按行、大小進行切分。

split命令的語法如下：

split [--help][--version][-a ][-b][-c ][-l ][要切割的檔案][輸出檔名字首]
對應的引數描述如下：

-a, --suffix-length=n


使用的字尾長度 (預設為 2)


-b, --bytes=size


每個輸出檔案的位元組大小


-c, --line-bytes=size


每個輸出檔案每行的最大位元組大小


-d, --numeric-suffixes


使用數字字尾代替字母字尾


-l, --lines=number


設定每個輸出檔案的行數


--help 顯示幫助資訊


--version


顯示版本資訊
下面舉幾個例子：

1）將檔案splittest.txt分割成多個檔案，分割後的每個檔案大小為10m。命令：

$ split -b 20m splittest.txt


$ ls


splittest.txt  xaa  xab  xac
2）將檔案splittest.txt分割成多個檔案，分割後的每個檔案大小為10m。指定分割後的檔案字首位split，命令：

$ split -b 20m splittest.txt  split


$ ls


splitaa  splitab  splitac  splittest.txt
3）將檔案splittest.txt分割成多個檔案，每個檔案50萬行。命令：

$ wc -l splittest.txt 


1502216 splittest.txt


$ split -l 500000 splittest.txt  split


$ ls


splitaa  splitab  splitac  splitad  splittest.txt
4）將檔案splittest.txt分割成多個檔案，每個檔案50萬行。指定分割後的檔案字尾為數字，數字位數為3位，命令：

$ wc -l splittest.txt 


1502216 splittest.txt


$ split -l 500000 -d -a 3 splittest.txt  split


$ ls


split000  split001  split002  split003  splittest.txt
可以使用cat命令將切分後的檔案合併成新的檔案：

$ cat split0* > original.txt

Linux命令之大檔案分割

我們有時候會遇到大檔案需要處理，當檔案過大時，linux中使用vim cat vim grep awk 等這些工具對大檔案進行分析執行速度緩慢，占用記憶體資源大，檔案傳輸慢 下面我有乙個原始檔案，sourcelist.xlsx 比較大了，5g多，光是用wc l統計行數，時間就花費了3分鐘 linux...

linux 檢視大檔案 命令

常用命令 du h max depth 1 grep tg sort 查詢上g和t的目錄並排序 du sh 統計當前目錄的大小，以直觀方式展現 du h max depth 1 grep g sort 檢視上g目錄並排序 du sh max depth 1 檢視當前目錄下所有一級子目錄資料夾大小 d...

linux大檔案分割 split命令

linux大檔案分割 split命令 inux split命令 功能說明 切割檔案。語 法 split help version 行數 b 位元組 c 位元組 l 行數 要切割的檔案 輸出檔名 行數 位元組 位元組 行數 補充說明 split可將檔案切成較小的檔案，預設每1000行會切成乙個小檔案。...