日常指令碼二 重複資料刪除

這個指令碼是自己寫的用作刪除資料夾中重複文件的指令碼；

參考了網路上的乙個linux教程。

利用了相同檔案的檔案檢驗和相同的原理；

主要linux命令：

1、awk

2、tee

3、md5sum

4、comm

下面是指令碼:

#!/bin/bash

ls -ls |awk 'begin
};size=$5;name1=name2;
}'|sort -u > duplicat_files
cat duplicat_files |xargs -i {} md5sum {}|sort|uniq -w |awk ''|sort -u > duplicat_sample
echo removing....
comm duplicat_files duplicat_sample -2 -3|tee /dev/stderr | xargs rm

刪除重複資料

介紹兩種刪除重複行的方式 1.使用臨時表，分組找出重複部分的id進行刪除 刪除table goods info 中存在重複goods id的記錄 select identity int,1,1 as autoid,into temptable from goods info select min a...

sql刪除重複資料

1 建立表 create table dbo test id numeric 18,0 identity 1,1 not null primary key,name varchar 200 collate chinese prc ci as null remark varchar 1024 coll...

mysql刪除重複資料

最近遇到刪除重複資料的問題，先分享一下解決辦法，如有不完善之處還望包涵！舉例如下 mysql select from table03 id name degree 1 fly 90 2 fly 90 3 fly 90 4 fly 80 5 wang 90 6 wang 90 7 wang 90 8 ...