通過檔案MD5刪除重複檔案,僅保留乙份原始檔

2021-06-25 18:16:36 字數 381 閱讀 7200

不能不說shell命令的強大,一條命令就可以解決繁瑣編碼。

根據檔案md5刪除重複檔案,僅保留乙份檔案:

find . -type f -exec md5sum {} \; | sort -k 1 | awk 'a[$1]++' | xargs -t -i rm -f {}

這一條命令很容易理解,需要看一下find,md5sum,sort,awk,和xargs的相關解析。

1、首先使用find查詢當前目錄下的檔案然後呼叫md5sum對檔案進行md5計算;

2、使用sort對檔案md5進行排序,為了使相同md5的檔案排列到一起;

3、使用awk陣列對md5進行統計,如果該md5對應多個檔案,則輸出該檔案;

4、通過rm刪除第三步統計出來的檔案;

python 通過md5檢查並刪除重複檔案

usr bin python3 coding utf 8 time 8 21 2020 2 41 pm author jet li email robo jet qq.com file md5 check.py software pycharm import os import hashlib fr...

Python通過MD5值實現重複檔案的檢測

平時上課時學生上機作業經常有直接複製別人的檔案,只修改檔名的抄襲情況,為了快速檢測這種問題,通過md5值簡單的寫了下,聊勝於無吧,有時間了寫乙個更完善的。import hashlib import os from collections import counter import sys reloa...

檔案md5加密

計算檔案的 md5 值 要計算 md5 值的檔名和路徑 md5 值16進製制字串 public static string md5file string filename 計算檔案的雜湊值 要計算雜湊值的檔名和路徑 演算法 sha1,md5 雜湊值16進製制字串 public static stri...