hadoop fs -ls [-r]
功能:顯示檔案、目錄資訊。
示例:hadoop fs -ls /user/hadoop/file1
hadoop fs -mkdir [-p]
功能:在hdfs上建立目錄,-p表示會建立路徑中的各級父目錄。
示例:hadoop fs -mkdir –p /user/hadoop/dir1
hadoop fs -put [-f] [-p] [ localsrc2. ]
功能:將單個src或多個srcs從本地檔案系統複製到目標檔案系統。
-p:保留訪問和修改時間,所有權和許可權。
-f:覆蓋目的地(如果已經存在)
示例:hadoop fs -put -f localfile1 localfile2 /user/hadoop/hadoopdir
hadoop fs -get [-p]
功能:將檔案複製到本地檔案系統。
其中hdfs://host:port/可以檢視/export/server/hadoop-2.7.4/etc/hadoop/core-site.xml中檢視。
示例:hadoop fs -get hdfs://host:port/user/hadoop/file localfile
功能:追加乙個檔案到已經存在的檔案末尾
hadoop fs -cat uri [uri ...]
功能:顯示檔案內容到stdout
示例:hadoop fs -cat /hadoop/hadoopfile
hadoop fs -tail [-f] uri
功能:將檔案的最後一千位元組內容顯示到stdout。
-f選項將在檔案增長時輸出附加資料。
示例:hadoop fs -tail -f /hadoop/hadoopfile
hadoop fs -copyfromlocal uri
功能:從本地檔案系統中拷貝檔案到hdfs路徑去
示例:hadoop fs -copyfromlocal /root/1.txt /
hadoop fs -copyfromlocal /hadoop/hadoopfile
功能:從hdfs拷貝到本地
示例:hadoop fs -copytolocal /aaa/jdk.tar.gz
功能:從hdfs的乙個路徑拷貝hdfs的另乙個路徑
示例: hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2
功能:在hdfs目錄中移動檔案
示例: hadoop fs -mv /aaa/jdk.tar.gz /
示例:比如hdfs的目錄 /aaa/下有多個檔案:log.1, log.2,log.3,...
hadoop fs -getmerge /aaa/log.* ./log.sum
功能:刪除指定的檔案。只刪除非空目錄和檔案。-r 遞迴刪除。
示例:hadoop fs -rm -r /aaa/bbb/
功能:統計檔案系統的可用空間資訊
示例:hadoop fs -df -h /
功能:顯示目錄中所有檔案大小,當只指定乙個檔案時,顯示此檔案的大小。
示例:hadoop fs -du /user/hadoop/dir1
功能:改變乙個檔案的副本係數。-r標誌被接受用於向後相容性。它沒有效果。
示例:hadoop fs -setrep -r -w 3 /user/hadoop/dir1
shell指令碼 命令
命令連線符 表示不管前面是否執行成功都要執行 表示前面執行成功才執行後面 表示前面執行失敗才執行後面 read命令 read 選項 值 read p 提示語句 n 字元個數 t 時間秒 s 不顯示 運算子 expr 3 2 結果賦值 sum expr 3 2 或者 sum 3 2 乘法expr 3 ...
shell指令碼命令
1.建立檔案 home test test.log rootdir home test testfile rootdir test.log touch testfile 2.如果檔案存在則刪除檔案 if f testfile then rm rf testfile fi3.如果檔案不存在則建立檔案 ...
shell 指令碼命令學習
set u 指令碼中有不存在變數,丟擲異常 set x 用來在執行結果之前,先輸出執行的哪一行命令 set e 只要發生錯誤就終止執行 set euxo pipefail 放在所有shell指令碼的開頭 echo vars 傳遞給指令碼或函式的所有引數 echo vars count num 傳遞給...