HDFS的shell常用操作指令

2021-12-30 09:38:48 字數 1897 閱讀 6484

1.啟動相關

啟動zookeeper:

zkserver.sh start

啟動hdfs : 不管在集群中的那個節點都可以

start-dfs.sh

啟動yarn : 只能在yarn主節點中進行啟動

hadoop fs -ls -r / ---->級聯遞迴的方式展示,相當於展示下面的所有資料夾

hadoop fs -mkdir -p /aaa/bbb/cc/dd

hadoop fs - movefromlocal /home/hadoop/a.txt /aaa/bbb/cc/dd

hadoop fs -help movetolocal

hadoop fs -appendtofile ./hello.txt /hello.txt

hadoop fs -cat/hadoop/yarn-root-nodemanager-hadoop1.log

hadoop fs -tail /weblog/access_log.1

hadoop fs -chmod 666 /hello.txt

hadoop fs -chown someuser:somegrp /hello.txt

hadoop fs -copyfromlocal ./jdk.tar.gz /aaa/

hadoop fs -copytolocal /user/hello.txt ./hello.txt

hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2

hadoop fs -mv /aaa/jdk.tar.gz /

hadoop fs -get /user/hello.txt ./

hadoop fs -getmerge /aaa/log.* ./log.sum

hadoop fs -put /aaa/jdk.tar.gz /bbb/jdk.tar.gz

hadoop fs -rm -r /aaa/bbb/

hadoop fs -rmr /aa ----->這種方式已經被棄用了,但是還是可以有刪除效果的。建議用上面的。

hadoop fs -rmdir /aaa/bbb/ccc

hadoop fs -df -h /

hadoop fs -du -s -h /user/abcd/wcinput

hadoop fs -count /aaa/

hadoop fs -setrep 3 /aaa/jdk.tar.gz

這裡設定的副本數只是記錄在namenode的元資料中,是否真的會有這麼多副本,還得看datanode的數量。因為目前只有3臺裝置,最多也就3個副本,只有節點數的增加到10台時,副本數才能達到10。

hadoop fs -touchz /hadoop/touchzfile.txt

hadoop

hadoop fs

hadoop -help

hadoop fs -help

hadoop fs -help ls

在以前版本中整個集群的所有命令都是通過hadoop命令來敲的,2.0之後區分出來了。

hadoop fs -setrep 3 /

hdfs getconf 執行後會告訴你乙個引數

hdfs getconf -confkey fs.defaultfs 執行後會告訴你hdfs://hadoop02:9000

hdfs getconf -confkey dfs.blocksize執行後會告訴你134217728

hdfs getconf -confkey dfs.replication執行後會告訴你2

HDFS的常用Shell操作

0 啟動hadoop集群 sbin start dfs.sh sbin start yarn.sh 1 help 輸出這個命令引數 hadoop fs help rm 2 ls 顯示目錄資訊 hadoop fs ls 3 mkdir 在hdfs上建立目錄 hadoop fs mkdir p sang...

HDFS操作常用的Shell命令

hadoop fs copyfromlocal uri f 如果檔案存在,則覆蓋 從本地檔案系統考貝到集群上 將乙個本地檔案系統的原始檔或多個原始檔追加到目標檔案系統 hadoop fs copytolocal ignorecrc crc uri ignorecrc 選項複製crc校驗失敗的文 件 ...

HDFS的常用shell命令

在hdfs的學習中,除了筆者第一篇的api操作之外,同樣的,hdfs的shell操作也是必須要掌握的。下面,筆者就整理出了一些常用的shell命名,希望能夠給讀者帶來些許幫助。在剛開始學習hdfs的時候,大家可以通過hadoop fs這個命令,來檢視hdfs的所有命令,然後就會全部顯示出來,如下圖所...