(1)兩個檔案的交集，並集
1. 取出兩個檔案的並集(重複的行只保留乙份)
cat file1 file2 | sort | uniq > file3
2. 取出兩個檔案的交集(只留下同時存在於兩個檔案中的檔案)
cat file1 file2 | sort | uniq -d > file3
3. 刪除交集，留下其他的行
cat file1 file2 | sort | uniq -u > file3
(2)兩個檔案合併
乙個檔案在上，乙個檔案在下
cat file1 file2 > file3
乙個檔案在左，乙個檔案在右
paste file1 file2 > file3
(3)乙個檔案去掉重複的行
sort file | uniq
注意：重複的多行記為一行，也就是說這些重複的行還在，只是全部省略為一行！
sort file | uniq –u
上面的命令可以把重複的行全部去掉，也就是檔案中的非重複行！
linux 檔案內容去重
1 sort filename uniq filename2 2 awk count 0 filename filename2 原始檔 codingants ubuntu awk cat dup hello world awkcoding ants hello world awkhello worl...
linux 檔案去重
兩個檔案的交集，並集 前提條件 每個檔案中不得有重複行 1.取出兩個檔案的並集 重複的行只保留乙份 cat file1 file2 sort uniq file3 2.取出兩個檔案的交集 只留下同時存在於兩個檔案中的檔案 cat file1 file2 sort uniq d file3 3.刪除交...
檔案內容去重及排序
本文將使用 php 和 linux sort 命令兩種方法，分別實現檔案內容去重及排序，並提供完成演示 寫入1000000個數字，每行乙個數字 file user id.txt num 1000000 tmp for i 0 i num i 檢視檔案行數 wc l user id.txt 10000...