hdfs的高階命令和安全模式

2021-09-29 08:33:32 字數 1598 閱讀 4015

hdfs檔案限額配置

hdfs dfs -mkdir -p /user/root/lisi #建立hdfs資料夾

hdfs dfsadmin -setquota 2 lisi # 給該資料夾下面設定最多上傳兩個檔案,上傳檔案,發現只能上傳乙個檔案

hdfs dfsadmin -clrquota /user/root/lisi # 清除檔案數量限制

2.空間大小的限額

hdfs dfsadmin -setspacequota 4k /user/root/lisi # 限制空間大小4kb

hdfs dfs -put /export/softwares/zookeeper-3.4.5-cdh5.14.0.tar.gz /user/root/lisi

#上傳超過4kb的檔案大小上去提示檔案超過限額

hdfs dfsadmin -clrspacequota /user/root/lisi #清除空間限額

hdfs dfs -put /export/softwares/zookeeper-3.4.5-cdh5.14.0.tar.gz /user/root/lisi

#重新上傳成功

檢視hdfshdfs dfs -count -q -h /user/root/lisi檔案限額數量

hdfs的安全模式

安全模式是hdfs所處的一種特殊狀態,在這種狀態下,檔案系統只接受讀資料請求,而不接受刪除、修改等變更請求。在namenode主節點啟動時,hdfs首先進入安全模式,datanode在啟動的時候會向namenode匯報可用的block等狀態,當整個系統達到安全標準時,hdfs自動離開安全模式。

如果hdfs處於安全模式下,則檔案block不能進行任何的副本複製操作,因此達到最小的副本數量要求是基於datanode啟動時的狀態來判定的,啟動時不會再做任何複製(從而達到最小副本數量要求),hdfs集群剛啟動的時候,預設30s鐘的時間是處於安全期的,只有過了30s之後,集群脫離了安全期,然後才可以對集群進行操作

hdfs的檔案許可權驗證

hdfs的檔案許可權機制與linux系統的檔案許可權機制類似

r:read w:write x:execute 許可權x對於檔案表示忽略,對於資料夾表示是否有許可權訪問其內容

如果linux系統使用者zhangsan使用hadoop命令建立乙個檔案,那麼這個檔案在hdfs當中的owner就是zhangsan

hdfs檔案許可權的目的,防止好人做錯事,而不是阻止壞人做壞事。hdfs相信你告訴我你是誰,你就是誰

HDFS的安全模式

安全模式是hdfs的一種工作狀態,處於安全模式的狀態下,只向客戶端提供檔案的唯讀檢視,不接受對命名空間的修改 同時名字節點也不會進行資料塊的複製或者刪除,如副本數量小於正常水平。namenode啟動時,首先將fsimage載入記憶體,並執行編輯日誌中的操作。一旦檔案系統元資料建立成功,便會建立乙個空...

HDFS的安全模式

目標 掌握什麼是 hdfs的安全模式,以及安全模式的作用 安全模式是hdfs所處的一種特殊狀態,在這種狀態下,檔案系統只接受讀資料請求,而不接受刪除 修改等變更請求。在namenode主節點啟動時,hdfs首先進入安全模式,datanode在啟動的時候會向namenode匯報可用的block等狀態,...

hdfs的安全模式

安全模式是hdfs所處的一種特殊狀態,在這種狀態下,檔案系統只接受讀資料請求,而不接受刪除 修改等變更請求。在namenode主節點啟動時,hdfs首先進入安全模式,datanode在啟動的時候會 向namenode匯報可用的block等狀態,當整個系統達到安全標準時,hdfs自動離開安全模式。如果...