前面建立的集群都是用root使用者建立的,但是企業中是不會用root進行操作,這裡將對root搭建的應用切換到普通使用者管理。
$ stop-dfs.sh
$ useradd god
$ passwd god
# hdfs集群目錄
$ chown -r god /opt/bigdata/hadoop
# 檔案儲存目錄
$ chown -r god /var/bigdata/hadoop
# 拿到使用者目錄下的.ssh目錄
$ ssh localhost
$ cd /home/god/.ssh
# 在node01
$ ssh-keygen -t dsa -p '' -f ./id_dsa
$ ssh-copy_id -i id_dsa node01
$ ssh-copy_id -i id_dsa node02
$ ssh-copy_id -i id_dsa node03
$ ssh-copy_id -i id_dsa node04
# 在node02
$ ssh-keygen -t dsa -p '' -f ./id_dsa
$ ssh-copy_id -i id_dsa node01
$ ssh-copy_id -i id_dsa node02
在node01:dfs.ha.fencing.ssh.private-key-files
/home/god/.ssh/id_dsa
將原來的 /root/.ssh/id_dsa 改為 /home/god/.ssh/id_dsa
然後分發給其他三颱機器
$ scp hdfs-site.xml node02:`pwd`
$ scp hdfs-site.xml node03:`pwd`
$ scp hdfs-site.xml node04:`pwd`
$ start-dfs.sh
hdfs的使用者和組 依賴於作業系統的使用者和組例如: 在node01 上 :
# god使用者建立目錄/temp
$ hdfs dfs -mkdir /temp
# 更改temp為god所屬的xxoo組
$ hdfs dfs -chown god:xxoo /temp
# 修改temp許可權
$ hdfs dfs -chmod 770 /temp
# 然後再node04建立good使用者 屬於xxoo組,去操作temp
$ useradd good
$ passwd good
$ groupadd xxoo
$ usermod -a -g xxoo good
$ id good
$ su good
$ hdfs dfs -mkdir /temp/abc
# 此時會提示建立失敗 沒有許可權
# 解決方法:
# 需要在node01上建立同樣的使用者和組,然後重新整理hdfs使用者和組
$ su root
$ useradd good
$ passwd good
$ groupadd xxoo
$ usermod -a -g xxoo good
$ su god
# 注意 此處需要切換到god使用者重新整理hdfs使用者和組,因為此時hdfs已經屬於god而不屬於root
# 此時 在node04上就可以用good使用者在/temp目錄下操作了 因為god和good同屬於xxoo組
大資料之Hadoop之HDFS Ha高可用
在偽分布式搭建完事之後,我打算搭建hdfs高可用。因為完全分布式是hadoop 1.0版本,所以我現在要搭建hadoop 2.0版本的就是所謂 的ha高可用,下面簡單的對hadoop2.x版本的介紹 hadoop 2.x由hdfs mapreduce和yarn三個分支構成 hdfs nn feder...
大資料之Linux使用者許可權設定
使用者 是linux系統工作中重要的一環,使用者管理包括 使用者 與 組 管理,在linux系統中,不論是由本級或是遠端登入系統,每個系統都必須擁有乙個賬號,並且對於不同的系統資源擁有不同的使用許可權 對 檔案 目錄 的許可權包括 序號 許可權 英文縮寫 數字 01讀 readr4 02寫write...
大資料時代特有商業模式 使用者畫像
站在21世紀網際網路時代的風口浪尖,充分感受到了大資料的浪潮撲面而來。目前市面上的大資料產品型別的框架基本上可以分為三類,包括大資料應用層產品,大資料管理層產品,大資料技術層產品。而隨著商業時代資料量的劇增和使用者資訊的透明化和公開化。精準營銷被日益聚焦放大,誰能準確定位消費者的行為特徵,瞄準精準使...