大資料（4） HDFS常用的shell操作

注意：這次使用的是第二部分安裝的集群，不是高可用集群

為了方便，開發，必須寫集群指令碼，試想集群的機器是100臺以上，而不是3臺的情況。。。。

集群啟動指令碼

vim /home/admin/tools/start-cluster.sh

#!/bin/bash

echo "***************= 開始啟動所有節點服務 **********="

echo "***************= 正在啟動zookeeper **********="

for i in admin@linux01 admin@linux02 admin@linux03

do ssh $i '/home/admin/modules/zookeeper-3.4.10/bin/zkserver.sh start'

done

echo "***************= 正在啟動hdfs **********="

ssh admin@linux01 '/home/admin/modules/hadoop-2.7.2/sbin/start-dfs.sh'

echo "***************= 正在啟動yarn **********="

ssh admin@linux02 '/home/admin/modules/hadoop-2.7.2/sbin/start-yarn.sh'

echo "***************= linux01節點正在啟動jobhistoryserver **********="

ssh admin@linux01 '/home/admin/modules/hadoop-2.7.2/sbin/mr-jobhistory-daemon.sh start historyserver'

集群關閉指令碼

vim /home/admin/tools/stop-cluster.sh

#!/bin/bash

echo "***************= 開始停止所有節點服務 **********="

echo "***************= linux01節點正在停止jobhistoryserver **********="

ssh admin@linux01 '/home/admin/modules/hadoop-2.7.2/sbin/mr-jobhistory-daemon.sh stop historyserver'

echo "***************= 正在停止yarn **********="

ssh admin@linux02 '/home/admin/modules/hadoop-2.7.2/sbin/stop-yarn.sh'

echo "***************= 正在停止hdfs **********="

ssh admin@linux01 '/home/admin/modules/hadoop-2.7.2/sbin/stop-dfs.sh'

echo "***************= 正在停止zookeeper **********="

for i in admin@linux01 admin@linux02 admin@linux03

do ssh $i '/home/admin/modules/zookeeper-3.4.10/bin/zkserver.sh stop'

done

集群詳情指令碼

vim /home/admin/tools/jpsutil.sh 
#!/bin/bash
for i in admin@linux01 admin@linux02 admin@linux03
do        echo "***************===$i***************===="
ssh $i 'jps'
done

一、啟動hadoop集群

sh /home/admin/tools/start-cluster.sh

二、常用的shell操作

cd /home/admin/modules/hadoop-2.7.2/

# 格式化操作

$ bin/hdfs namenode -format

# 展示檔案和資料夾列表

$ bin/hdfs dfs -ls /

# 建立資料夾

# 在使用者目錄下建立

$ bin/hdfs dfs -mkdir aaa/

# 在根目錄下建立

$ bin/hdfs dfs -mkdir /aaa/

# 遞迴層級建立多個資料夾

$ bin/hdfs dfs -mkdir -p /bbb/ccc

# 上傳本地檔案到hdfs，如果上傳成功，則刪除本地檔案（就是剪下操作）

$ bin/hdfs dfs -movefromlocal hello_world.txt /

# 末尾追加資料到hdfs中已經存在的檔案裡面

# 檢視檔案內容

$ bin/hdfs dfs -cat /hello_world.txt

# 檢視檔案末尾資訊

$ bin/hdfs dfs -tail /hello_world.txt

# 拷貝本地檔案到hdfs，-copyfromlocal可以替換為-put

$ bin/hdfs dfs -copyfromlocal words.txt /aaa

# 拷貝hdfs檔案到hdfs另乙個目錄

$ bin/hdfs dfs -cp /aaa/words.txt /bbb

# 或剪下

$ bin/hdfs dfs -mv /aaa/words.txt /bbb

$ bin/hdfs -get /hello_world.txt ./

$ bin/hdfs dfs -getmerge /*.txt ./demo.txt

# 刪除檔案或資料夾

$ bin/hdfs dfs -rmr /aaa

大資料入門與實戰 HDFS的常用操作

bin hdfs dfs usage hadoop fs generic options cat ignorecrc checksum chgrp r group path.chmod r path.chown r owner group path.copyfromlocal f p l d cop...

大資料入門 HDFS的特性

目標掌握hdfs具備的特性 1 海量資料儲存 hdfs可橫向擴充套件，其儲存的檔案可以支援pb級別或更高階別的資料儲存。2 高容錯性資料儲存多個副本，副本丟失後自動恢復。可構建在廉價的機器上，實現線性擴充套件。當集群增加新節點之後，namenode也可以感知，進行負載均衡，將資料分發和備份資料均...

大資料學習之HDFS常用命令

使用 putty 工具，以客戶端安裝使用者登入安裝客戶端的節點即開啟putty 工具，輸入 servicecenter 申請雲主機的 ip190.28.58.153 切換至fusioninsight services client 客戶端的安裝目錄，如果未安裝，先安裝客戶端安裝成功之後配置客戶端...

大資料（4） HDFS常用的shell操作

大資料入門與實戰 HDFS的常用操作

大資料入門 HDFS的特性

大資料學習之HDFS常用命令

相關推薦