Linux下快速刪除大量小檔案(HP UX也適用)

2021-06-29 06:09:20 字數 1922 閱讀 6986

大俠們是否刪除百萬千萬級甚至更多的小檔案吧,用rm -rf  命令非常慢,極度挑戰人類的耐性。這時可用rsync工具刪除,測試過linux和hp-ux都可以用。

rsync使用的是替換原理。

-bash-4.3#

mkdir /mnt/empt

注意:目錄後面加上「/」 ,/mnt/many/100w/是要刪除的目錄

-bash-4.3#

rsync --delete-before -a -h -v --progress --stats /mnt/empty /mnt/many/100w/

....

deleting 1w94.3mb/300029.63mb/lib/__future__.py

.....

number of files: 1 (dir: 1)

number of created files: 0

number of deleted files: 105,720 (reg: 100,000, dir: 5,720)

number of regular files transferred: 0

total file size: 0 bytes

total transferred file size: 0 bytes

literal data: 0 bytes

matched data: 0 bytes

file list size: 0

file list generation time: 0.001 seconds

file list transfer time: 0.000 seconds

total bytes sent: 46

total bytes received: 6,339,527

sent 46 bytes  received 6,339,527 bytes  7,605.97 bytes/sec

total size is 0  speedup is 0.00

選項說明:

一般不需要顯示進度,使用以下命令即可:

-bash-4.3#

rsync --delete-before -a -h/mnt/empty /mnt/many/100w/

刪除完後只剩下/mnt/many/100w/

空目錄,裡面的檔案都被刪除。

-bash-4.3# rsync --help | grep delete

--del                   an alias for --delete-during

--delete                delete extraneous files from destination dirs

--delete-before         receiver deletes before transfer, not during

--delete-during         receiver deletes during the transfer

--delete-delay          find deletions during, delete after

--delete-after          receiver deletes after transfer, not during

--delete-excluded       also delete excluded files from destination dirs

--delete-missing-args   delete missing source args from destination

--ignore-errors         delete even if there are i/o errors

--max-delete=num        don't delete more than num files

linux快速刪除大量小檔案

在linux下面刪除大量資料夾的情況,如 需要刪除100萬個檔案或者資料夾。這個時候,我們本來的刪除命令rm rf 就不好使了,因為要等待的太久。所以必須要採取一些非常手段。我們可以使用rsync來實現快速 刪除大量檔案。方法如下 1.安裝rsync yum y install rsync 2.建立...

linux快速刪除大量小檔案

linux 快速刪除大量小檔案方法 當我們在linux系統中要刪除數萬或者數十萬甚至數百萬的檔案時使用rm rf 就不太好用,因為要等待很長一段時間。在這種情況之下我們可以使用linux系統命令rsync來巧妙的處理。rsync實際上用的是替換原理,處理數十萬個檔案也是秒刪。1.rsync安裝,有些...

快速刪除大量小檔案

由於bash會展開例如 rm aa 這樣的命令 如果後面的檔案太多就會報引數太長,所以有時候刪除大量小檔案就不適合用rm了 可以使用find先查詢在刪除 就不會出現上面那種報錯問題,可是還有乙個問題檔案太多的話 exec rm 完全沒有效率,一兩個小時估計也就只能刪除幾十萬的檔案 對於需要刪除百萬為...