Linux下平均分割大檔案

2021-06-21 23:09:44 字數 358 閱讀 3414

下面表示將 dataset分割成小檔案,每個10000行,以數字作為字尾形式,一共佔兩位

split -l 10000 dataset -d -a 2 partition_dataset_ 

如果有不明白的

split --help 或

man split

合併小檔案為乙個大檔案:

find dir -type f -name "partition_dataset_*" -print | xargs cat > final_results

cat * > hongchangfirst_data

原文:hongchangfirst

hongchangfirst的主頁:

Linux下分割大檔案

在排查專案問題的時候,日誌檔案是很有參考價值的。但是如果專案執行時間比較久,產生的日誌可能是海量的,如果需要檢視較大日誌檔案就會很麻煩,我們可以使用linux提供的split命令,將較大的日誌檔案切割為小檔案,方便我們檢視日誌檔案,進行問題的定位。1.切割檔案 1 使用split分割大檔案 原檔案為...

linux 分割大檔案

你曾經是否想要把乙個大檔案分割成多個小檔案?比如乙個5gb日誌檔案,我們需要把它分成多個小檔案,這樣我們才有可能使用普通的文字編輯器讀取它。有時我們需要傳輸20gb的大檔案到另一台伺服器,這就需要我們把它分割成多個檔案,這樣便於傳輸資料。下面我們來通過五個例項來講解它。split命令分割檔案成每個檔...

linux 大檔案分割 split

1,split b 100m d a 3 test.log small test log 結果 small test log 001 small test log 002 small test log 003 每個檔案的大小為100mb 2,split b 100m test.log small t...