不能不說shell命令的強大,一條命令就可以解決繁瑣編碼。
根據檔案md5刪除重複檔案,僅保留乙份檔案:
find . -type f -exec md5sum {} \; | sort -k 1 | awk 'a[$1]++' | xargs -t -i rm -f {}
這一條命令很容易理解,需要看一下find,md5sum,sort,awk,和xargs的相關解析。
1、首先使用find查詢當前目錄下的檔案然後呼叫md5sum對檔案進行md5計算;
2、使用sort對檔案md5進行排序,為了使相同md5的檔案排列到一起;
3、使用awk陣列對md5進行統計,如果該md5對應多個檔案,則輸出該檔案;
4、通過rm刪除第三步統計出來的檔案;
python 通過md5檢查並刪除重複檔案
usr bin python3 coding utf 8 time 8 21 2020 2 41 pm author jet li email robo jet qq.com file md5 check.py software pycharm import os import hashlib fr...
Python通過MD5值實現重複檔案的檢測
平時上課時學生上機作業經常有直接複製別人的檔案,只修改檔名的抄襲情況,為了快速檢測這種問題,通過md5值簡單的寫了下,聊勝於無吧,有時間了寫乙個更完善的。import hashlib import os from collections import counter import sys reloa...
檔案md5加密
計算檔案的 md5 值 要計算 md5 值的檔名和路徑 md5 值16進製制字串 public static string md5file string filename 計算檔案的雜湊值 要計算雜湊值的檔名和路徑 演算法 sha1,md5 雜湊值16進製制字串 public static stri...