相信看過小菌之前的部落格《hdfs的shell常用命令大全》的小夥伴們,肯定對於hdfs的shell常用命令已經不滿足了,那麼這篇部落格,小菌為大家帶來的是hdfs的高階命令使用——檔案限額配置!
首先讓我們來看看這個命令的作用吧~
我們可以從上述知道hdfs限額配置可以從檔案數量限額和空間大小限額兩個方面來進行約束,那具體的命令又該如何使用呢?請看下:
hdfs dfs -mkdir -p /user/root/lisi
#建立hdfs資料夾hdfs dfsadmin -setquota 2 lisi
#給該資料夾下面設定最多上傳兩個檔案,上傳檔案,發現只能上傳乙個檔案hdfs dfsadmin -clrquota /user/root/lisi
#清空資料夾的數量限制
往期內容回顧:hdfs dfsadmin -setspacequota 4k /user/root/lisi
#限制空間大小4kbhdfs dfs -put /export/softwares/zookeeper-3.4.5-cdh5.14.0.tar.gz /user/root/lisi
#上傳乙個超過4kb的檔案#上傳超過4kb的檔案大小上去提示檔案超過限額hdfs dfsadmin -clrspacequota /user/root/lisi
#清除空間限額
hdfs dfs -put /export/softwares/zookeeper-3.4.5-cdh5.14.0.tar.gz /user/root/lisi
#重新上傳成功
檢視hdfs檔案限額數量
《hdfs檔案系統介紹(1)》
《hdfs檔案讀寫流程(2)》
《hdfs特性及缺點分析(3)》
《hdfs的shell常用命令大全》
HDFS檔案限額配置
hdfs上的配額管理針對的是某個目錄而不是某個使用者,新增配額管理可以更好地管理檔案系統。配額管理可分為檔案數量限額和目錄空間大小限額,可以通過以下命令檢視耨個目錄的配額資訊。檢視配額資訊 hdfs dfs count q h dir0 none inf none inf 1 0 0 dir0 qu...
大資料 hdfs 檔案限額配置 小記
hdfs檔案限額配置允許我們以檔案大小或者檔案個數來限制某個目錄下上傳的檔案數量或者檔案的內容總量 hdfs dfs mkdir p user root lisi 建立hdfs資料夾 hdfs dfsadmin setquota 50 lisi 給該資料夾下面設定最多上傳49個檔案,還有乙個檔案是l...
HDFS檔案命令
hadoop fs genericopitions ls 顯示目標路徑當前目錄下的所有檔案 lsr 遞迴顯示目標路徑下的所有目錄及檔案 深度優先 du 以位元組為單位顯示目錄中所有檔案的大小,或該檔案的大小 如果 path 為檔案 dus 以位元組為單位顯示目標檔案大小 用於檢視資料夾大小 coun...