hive
.線上乙個
etl開發
drop
掉temp database
裡的一張表，但是發現
hdfs
上檔案還在！
首先明確一下
hive drop table
的流程：
0.刪除metadata
1.如果沒有啟用
trash
則直接刪除
hdfs檔案
2.如果啟用
trash：
a)如果
trash
目錄無許可權訪問（預設
/user//.trash
）檔案則成為「殭屍」檔案，永遠保留在那裡
b)否則若用
hive command
執行或hiveserver
開啟了impersonation
則將檔案移動到
/user//.trash
下，否則移動到
/user//.trash下
線上出現這個問題是因為
/user
目錄的mode
為700
，使用者無法建立自己的目錄導致刪除檔案失敗，從以上流程可以看到，
hive
的許可權和
hdfs
的許可權是相分離的，而這個問題實為hive的
bug一直還沒有得到修復
HDFS許可權說明
hdfs檔案系統許可權和linux的很類似 相對於檔案 r讀取檔案 w寫檔案許可權 相對於目錄 r表示能夠讀取目錄下的檔案列表 w許可權表名的是能夠在目錄下建立或者是刪除檔案和目錄 x許可權表示能夠從該目錄進入其子目錄中.t表示 暫時沒找到資料 嗯,有時候會看到t這個許可權.但是在不知道為什麼,在網...
HDFS 檔案許可權
hadoop fs ls countout rw r r 3 root supergroup 1311 2018 06 20 00 11 coun rw r r 3root supergroup 1311 2018 06 20 00 11 countout part r 00000 檔案訪問許可權 ...
hive表級許可權控制 Hive許可權管理
一.storage based authorization in the metastore server 基於儲存的授權，可以對metastore中的元資料進行保護，但是沒有提供更加細粒度的訪問控制 例如 列級別 行級別等 啟用當前認證方式後，dfs,add,delete,compile,rese...