hdfs 是乙個基礎的服務，hive/hbase 等都是基於 hdfs，所以在配置其它上層服務時，需要提前配置好 hdfs 的許可權控制。
在 hdfs 開啟許可權後，需要設定好服務的日誌路徑(如 spark 的 /spark-history、yarn 的 /tmp/$user/ 等)
sticky bit
針對資料夾可設定 sticky bit，可以防止除了 superuser/file owner/dir owner 之外的其它使用者刪除該資料夾中的檔案/資料夾(即使其它使用者對該資料夾有 rwx 許可權)。如：
#即在第一位新增數字1
hadoop fs -chmod 1777 /tmp
hadoop fs -chmod 1777 /spark-history
hadoop fs -chmod 1777 /user/hive/warehouse
1.粘著位只對目錄有效
2.普通使用者對該目錄擁有w和x許可權,即普通使用者可以在此目錄建立檔案刪除檔案
粘著位作用：
如果普通使用者對乙個目錄擁有w許可權,他就可以刪除這個目錄下的所有檔案,包括別人建立的檔案,
這樣的話,那這個目錄的許可權就不合理.粘著位的目的就是解決這個問題的.如果乙個目錄賦予了
粘著位,除了root使用者可以刪除所有檔案,普通使用者就算對該目錄擁有w許可權也只能刪除自己建立的
檔案,不能刪除其他使用者建立的檔案.
總結：
設定sticky bit許可權位(只有root使用者有許可權設定sticky bit許可權位)
chmod o+t 目錄名
chmod 1777 目錄名
刪除sticky bit許可權位
chmod 777 目錄名
chmod o-t 目錄名
關於HDFS理解
hadoop中hdfs的結構圖 hdfs 分布式檔案系統被設計成適合執行在通用硬體的分布式檔案系統。hdfs是乙個高度容錯的系統，適合部署在廉價伺服器上面，適合應用在集群。下面是hdfs的三個特點 1.超大檔案 這裡的檔案指的是幾百gb甚至幾百tb的檔案，分別分布在集群中的伺服器。而目前已經有儲存p...
關於HDFS的讀寫流程
今天主要是和大家分享一下有關hdfs的讀寫流程，有關hadoop和其他相關的基礎我會在之後的大資料只是總結中一一的總結出來，有興趣的小夥伴可以關注我之後的更新 進入正題首先先由我這位靈魂畫手給大家上一張圖 首先先來說一下各自的功能 namenode 負責管理整個檔案系統的元資料，以及所對應資料塊的資...
大資料學習 關於hdfs
高容錯性 適合處理大資料 可構建在廉價機器上 不適合低延時資料訪問 無法高效的對大量小檔案進行儲存 儲存大量小檔案的話，它會占用namenode大量的記憶體來儲存檔案目錄和塊資訊。小檔案儲存的定址時間會超過讀取時間 不支援併發寫入 檔案隨機修改 乙個檔案只能有乙個寫，不允許多個執行緒同時寫 data...