批量檔案刪除處理

2021-08-09 04:11:19 字數 891 閱讀 4401

場景:在一次greenplum擴容中,在進行停機擴充套件伺服器時,發現擴充套件失敗,原因在於gpperfmon目錄下的檔案太多,如下是進行的統計,統計結果一共是150萬個檔案,而且每個檔案都比較小

[root@gp-m0001 data]# ls -l |wc -l

ls: cannot access q1506422809-1645-2849501.txt: no such file or directory

ls: cannot access q1506422809-1645-2854396.txt: no such file or directory

ls: cannot access q1506422809-1645-2858582.txt: no such file or directory

1502247

[root@gp-m0001 data]# ls *.txt | xargs -n 10 rm -rf

-bash: /usr/bin/ls: argument list too long

於是使用了指令碼進行刪除,但是在刪除過程中,發現需要刪除的列表太長,而且還會導致刪除指令碼的程式直接假死的情況。

於是選擇了ls 然後進行分組刪除,但是發現ls時顯示的結果還是太長,無法正常顯示。

不得已,最後只好選擇新建目錄的方式進行刪除

mkdir bak_data

time rsync -a --delete bak_data/ data/

[gpadmin@***xx gpperfmon]$ time rsync -a --delete bak_data/ data/

real    9m36.883s

user    0m2.295s

sys     0m39.218s

如上是刪除的統計時間,確實算是挺快。

批量刪除檔案 由批量刪除 svn檔案引起的

目的 要把乙個檔案內包括子資料夾內所有.svn檔案刪除 在刪除.svn檔案過程中,很順利,type d name svn xargs rm rf 然後我還要刪除字尾為.plsit.gz 的檔案,type d name plist.gz xargs rm rf 結果是沒用的。我總結的是,本來.svn就...

UBUNTU linux 批量刪除檔案

sudo su cd find name google music exec rm rf 注 分號是必需的 find 目錄名 name 檔名 exec rm rf 搜尋刪除檔案,例如 find name raw exec rm rf 其中,exec 表示後面執行命令 表示查詢到的檔名 rf 為刪除命...

ubuntu linux 批量刪除檔案

sudo su cd find name google music exec rm rf 注 分號是必需的 find 目錄名 name 檔名 exec rm rf 搜尋刪除檔案,例如 find name raw exec rm rf 其中,exec 表示後面執行命令 表示查詢到的檔名 rf 為刪除命...