1.啟動相關
啟動zookeeper:
zkserver.sh start
啟動hdfs : 不管在集群中的那個節點都可以
start-dfs.sh
啟動yarn : 只能在yarn主節點中進行啟動
hadoop fs -ls -r / ---->級聯遞迴的方式展示,相當於展示下面的所有資料夾
hadoop fs -mkdir -p /aaa/bbb/cc/dd
hadoop fs - movefromlocal /home/hadoop/a.txt /aaa/bbb/cc/dd
hadoop fs -help movetolocal
hadoop fs -appendtofile ./hello.txt /hello.txt
hadoop fs -cat/hadoop/yarn-root-nodemanager-hadoop1.log
hadoop fs -tail /weblog/access_log.1
hadoop fs -chmod 666 /hello.txt
hadoop fs -chown someuser:somegrp /hello.txt
hadoop fs -copyfromlocal ./jdk.tar.gz /aaa/
hadoop fs -copytolocal /user/hello.txt ./hello.txt
hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2
hadoop fs -mv /aaa/jdk.tar.gz /
hadoop fs -get /user/hello.txt ./
hadoop fs -getmerge /aaa/log.* ./log.sum
hadoop fs -put /aaa/jdk.tar.gz /bbb/jdk.tar.gz
hadoop fs -rm -r /aaa/bbb/
hadoop fs -rmr /aa ----->這種方式已經被棄用了,但是還是可以有刪除效果的。建議用上面的。
hadoop fs -rmdir /aaa/bbb/ccc
hadoop fs -df -h /
hadoop fs -du -s -h /user/abcd/wcinput
hadoop fs -count /aaa/
hadoop fs -setrep 3 /aaa/jdk.tar.gz
這裡設定的副本數只是記錄在namenode的元資料中,是否真的會有這麼多副本,還得看datanode的數量。因為目前只有3臺裝置,最多也就3個副本,只有節點數的增加到10台時,副本數才能達到10。
hadoop fs -touchz /hadoop/touchzfile.txt
hadoop
hadoop fs
hadoop -help
hadoop fs -help
hadoop fs -help ls
在以前版本中整個集群的所有命令都是通過hadoop命令來敲的,2.0之後區分出來了。
hadoop fs -setrep 3 /
hdfs getconf 執行後會告訴你乙個引數
hdfs getconf -confkey fs.defaultfs 執行後會告訴你hdfs://hadoop02:9000
hdfs getconf -confkey dfs.blocksize執行後會告訴你134217728
hdfs getconf -confkey dfs.replication執行後會告訴你2
HDFS的常用Shell操作
0 啟動hadoop集群 sbin start dfs.sh sbin start yarn.sh 1 help 輸出這個命令引數 hadoop fs help rm 2 ls 顯示目錄資訊 hadoop fs ls 3 mkdir 在hdfs上建立目錄 hadoop fs mkdir p sang...
HDFS操作常用的Shell命令
hadoop fs copyfromlocal uri f 如果檔案存在,則覆蓋 從本地檔案系統考貝到集群上 將乙個本地檔案系統的原始檔或多個原始檔追加到目標檔案系統 hadoop fs copytolocal ignorecrc crc uri ignorecrc 選項複製crc校驗失敗的文 件 ...
HDFS的常用shell命令
在hdfs的學習中,除了筆者第一篇的api操作之外,同樣的,hdfs的shell操作也是必須要掌握的。下面,筆者就整理出了一些常用的shell命名,希望能夠給讀者帶來些許幫助。在剛開始學習hdfs的時候,大家可以通過hadoop fs這個命令,來檢視hdfs的所有命令,然後就會全部顯示出來,如下圖所...