Hadoop許可權管理

2022-05-29 10:30:16 字數 961 閱讀 3684

1.hadoop許可權管理包括以下幾個模組:

(1)使用者分組管理。用於按組為單位組織管理,某個使用者只能向固定分組中提交作業,只能使用固定分組中配置的資源;同時可以限制每個使用者提交的作業數,使用的資源量等

(2)作業管理。包括作業提交許可權控制,作業執行狀態檢視許可權控制等。如:可限定可提交作業的使用者;可限定可檢視作業執行狀態的使用者;可限定普通使用者只能修改自己作業的優先順序,kill自己的作業;高階使用者可以控制所有作業等。

想要支援許可權管理需使用fair scheduler或者 capacity scheduler(作業管理需用到hadoop的acl(access control list)功能,啟用該功能需選擇乙個支援多佇列管理的排程器)

2. 基本術語

(1)  使用者(user):hadoop使用linux使用者管理,hadoop中的使用者就是linux中的使用者

(2) 分組(group):hadoop使用linux分組管理,hadoop中的分組就是linux中的分組

(3)池(pool):hadoop fair scheduler中的概念,乙個pool可以是乙個user,乙個group,或者乙個queue。

(4) 佇列(queue):佇列是hadoop提出的概念,乙個queue可以由任意幾個group和任意幾個user組成。

3.linux下的檔案型別如下:  - 普通檔案  d 目錄  l 鏈結檔案  b 塊裝置  c 字元裝置

rwxrwxrwx

三個三個一組看:

1. 第一段表示檔案所有者對此檔案的操作許可權

2. 第二段表示檔案所有者所在組對些檔案的操作許可權

3. 第三段表示除上述兩種外的任何使用者/組對此檔案的操作許可權

r讀取:4

w寫入:2

x執行:1

加起來就好了。

比如rwxrwxrwx是777

rwx------ 是700

hadoop 使用者許可權設定

hadoop使用者許可權管理 1 以root身份登陸,新建乙個linux使用者,使用者名為roger,並授予相關許可權 useradd roger 新建linux使用者 roger passwd roger 為新建的使用者roger設定初始密碼 chown r hadoop roger opt ha...

hadoop的許可權控制

hdfs支援許可權控制,但支援較弱。hdfs的設計是基於posix模型的,支援按使用者 使用者組 其他使用者的讀寫執行控制許可權。在linux命令列下,可以使用下面的命令修改檔案的許可權 檔案所有者,檔案所屬組 hadoop fs chmod 修改檔案所有者,檔案所屬組,其他使用者的讀 寫 執行許可...

Hadoop基於SLA許可權認證

在core site.xml中配置以下屬性 hadoop.security.authorization true 配置hadoop policy.xml 引數格式 使用者名稱與使用者組之間用空格分開 使用者使用者之間用 tom,cat super,no 屬性說明 security.client.pr...