Linux 快速刪除大量小檔案方法

linux 快速刪除大量小檔案方法

當我們在linux系統中要刪除數萬或者數十萬甚至數百萬的檔案時使用rm -rf *就不太好用，因為要等待很長一段時間。在這種情況之下我們可以使用linux系統命令rsync來巧妙的處理。rsync實際上用的是替換原理，處理數十萬個檔案也是秒刪。

1. rsync安裝，有些系統預設安裝有該命令

ubuntu系統：sudo apt-get install rsync

fedora 系統：sudo yum install rsync

rsync --help | grep delete

--del                                an alias for --delete-during

--delete                          delete extraneous files from destination dirs

--delete-before             receiver deletes before transfer, not during

--delete-during             receiver deletes during transfer (default)

--delete-delay               find deletions during, delete after

--delete-after                receiver deletes after transfer, not during

--delete-excluded        also delete excluded files from destination dirs

--ignore-errors             delete even if there are i/o errors

--max-delete=num    don't delete more than num files

其中--delete-before接收者在傳輸之前進行刪除操作

清空目錄或檔案，如下： 

1、先建立乙個空目錄 

mkdir /data/blank 

2、用rsync刪除目標目錄 

rsync --delete-before -d 

-a -h -v --progress --stats 

/data/blank/ /var/edatacache/

或者rsync --delete-before -d /data/blank/ /var/edatacache/

這樣/var/edatacache目錄就被快速的清空了。

選項說明

：–delete-before 接收者在傳輸之前進行刪除操作

–progress          在傳輸時顯示傳輸過程

-a                       歸檔模式，表示以遞迴方式傳輸檔案，並保持所有檔案屬性

-h                      保持硬連線的檔案

-v                       詳細輸出模式

–stats                給出某些檔案的傳輸狀態

-d                      

transfer directories without recursing

假如我們在/root/下有乙個幾十g甚至上百g的檔案data，現在我們要刪除它

一、建立乙個空檔案

touch /root/empty

二、用rsync清空/root/data檔案

rsync 

--delete-before -d --progess --stats /root/empty /root/data

當src和dest檔案性質不一致時將會報錯 

當src和dest性質都為檔案【f】時，意思是清空檔案內容而不是刪除檔案 

當src和dest性質都為目錄【d】時，意思是刪除該目錄下的所有檔案，使其變為空目錄 

linux快速刪除大量小檔案

在linux下面刪除大量資料夾的情況，如 需要刪除100萬個檔案或者資料夾。這個時候，我們本來的刪除命令rm rf 就不好使了，因為要等待的太久。所以必須要採取一些非常手段。我們可以使用rsync來實現快速 刪除大量檔案。方法如下 1.安裝rsync yum y install rsync 2.建立...

linux快速刪除大量小檔案

linux 快速刪除大量小檔案方法 當我們在linux系統中要刪除數萬或者數十萬甚至數百萬的檔案時使用rm rf 就不太好用，因為要等待很長一段時間。在這種情況之下我們可以使用linux系統命令rsync來巧妙的處理。rsync實際上用的是替換原理，處理數十萬個檔案也是秒刪。1.rsync安裝，有些...

快速刪除大量小檔案

由於bash會展開例如 rm aa 這樣的命令 如果後面的檔案太多就會報引數太長,所以有時候刪除大量小檔案就不適合用rm了 可以使用find先查詢在刪除 就不會出現上面那種報錯問題,可是還有乙個問題檔案太多的話 exec rm 完全沒有效率,一兩個小時估計也就只能刪除幾十萬的檔案 對於需要刪除百萬為...