shell檔案合併去重

第一：兩個檔案的交集，並集

前提條件：每個檔案中不得有重複行

取出兩個檔案的並集(重複的行只保留乙份)

取出兩個檔案的交集(只留下同時存在於兩個檔案中的檔案)

刪除交集，留下其他的行

cat file1 file2 | sort | uniq > file3

cat file1 file2 | sort | uniq -d > file3

cat file1 file2 | sort | uniq -u > file3

第二：兩個檔案合併

乙個檔案在上，乙個檔案在下

cat file1 file2 > file3

乙個檔案在左，乙個檔案在右

paste file1 file2 > file3

第三：乙個檔案去掉重複的行：

sort file |uniq

注意：重複的多行記為一行，也就是說這些重複的行還在，只是全部省略為一行！

sort file |uniq -u

上面的命令可以把重複的行全部去掉，也就是檔案中的非重複行！

具體細節可以檢視，cat，sort，uniq等命令的詳細介紹

shell 檔案合併 去重 分割

shell 檔案合併，去重，分割 第一 兩個檔案的交集，並集 前提條件 每個檔案中不得有重複行 取出兩個檔案的並集 重複的行只保留乙份 取出兩個檔案的交集 只留下同時存在於兩個檔案中的檔案 刪除交集，留下其他的行 cat file1 file2 sort uniq file3 cat file1 f...

Linux 檔案合併去重

第一 兩個檔案的交集，並集 前提條件 每個檔案中不得有重複行 1.取出兩個檔案的並集 重複的行只保留乙份 2.取出兩個檔案的交集 只留下同時存在於兩個檔案中的檔案 3.刪除交集，留下其他的行 1.cat file1 file2 sort uniq file3 2.cat file1 file2 so...

linux檔案合併，去重

1 兩個檔案的交集，並集 前提條件 每個檔案中不得有重複行 1.取出兩個檔案的並集 重複的行只保留乙份 cat file1 file2 sort uniq file3 2.取出兩個檔案的交集 只留下同時存在於兩個檔案中的檔案 cat file1 file2 sort uniq d file3 3.刪...