Hadoop的Shell指令碼命令

2021-08-31 21:07:02 字數 1871 閱讀 3848

hadoop fs -ls [-r]
功能:顯示檔案、目錄資訊。

示例:hadoop fs -ls /user/hadoop/file1

hadoop fs -mkdir [-p]
功能:在hdfs上建立目錄,-p表示會建立路徑中的各級父目錄。

示例:hadoop fs -mkdir –p /user/hadoop/dir1

hadoop fs -put [-f] [-p] [ localsrc2. ]
功能:將單個src或多個srcs從本地檔案系統複製到目標檔案系統。

-p:保留訪問和修改時間,所有權和許可權。

-f:覆蓋目的地(如果已經存在)

示例:hadoop fs -put -f  localfile1 localfile2 /user/hadoop/hadoopdir

hadoop fs -get [-p]
功能:將檔案複製到本地檔案系統。

其中hdfs://host:port/可以檢視/export/server/hadoop-2.7.4/etc/hadoop/core-site.xml中檢視。

示例:hadoop fs -get hdfs://host:port/user/hadoop/file localfile

功能:追加乙個檔案到已經存在的檔案末尾

hadoop fs -cat uri [uri ...]
功能:顯示檔案內容到stdout

示例:hadoop fs -cat  /hadoop/hadoopfile

hadoop fs -tail [-f] uri
功能:將檔案的最後一千位元組內容顯示到stdout。

-f選項將在檔案增長時輸出附加資料。

示例:hadoop  fs  -tail -f  /hadoop/hadoopfile

hadoop fs -copyfromlocal uri
功能:從本地檔案系統中拷貝檔案到hdfs路徑去

示例:hadoop  fs  -copyfromlocal  /root/1.txt  /

hadoop fs -copyfromlocal /hadoop/hadoopfile
功能:從hdfs拷貝到本地

示例:hadoop fs -copytolocal /aaa/jdk.tar.gz

功能:從hdfs的乙個路徑拷貝hdfs的另乙個路徑

示例: hadoop  fs  -cp  /aaa/jdk.tar.gz  /bbb/jdk.tar.gz.2

功能:在hdfs目錄中移動檔案

示例: hadoop  fs  -mv  /aaa/jdk.tar.gz  /

示例:比如hdfs的目錄 /aaa/下有多個檔案:log.1, log.2,log.3,...

hadoop fs -getmerge /aaa/log.*  ./log.sum

功能:刪除指定的檔案。只刪除非空目錄和檔案。-r 遞迴刪除。

示例:hadoop fs -rm -r /aaa/bbb/

功能:統計檔案系統的可用空間資訊

示例:hadoop  fs  -df  -h  /

功能:顯示目錄中所有檔案大小,當只指定乙個檔案時,顯示此檔案的大小。

示例:hadoop fs -du /user/hadoop/dir1

功能:改變乙個檔案的副本係數。-r標誌被接受用於向後相容性。它沒有效果。

示例:hadoop fs -setrep -r -w 3  /user/hadoop/dir1

shell指令碼 命令

命令連線符 表示不管前面是否執行成功都要執行 表示前面執行成功才執行後面 表示前面執行失敗才執行後面 read命令 read 選項 值 read p 提示語句 n 字元個數 t 時間秒 s 不顯示 運算子 expr 3 2 結果賦值 sum expr 3 2 或者 sum 3 2 乘法expr 3 ...

shell指令碼命令

1.建立檔案 home test test.log rootdir home test testfile rootdir test.log touch testfile 2.如果檔案存在則刪除檔案 if f testfile then rm rf testfile fi3.如果檔案不存在則建立檔案 ...

shell 指令碼命令學習

set u 指令碼中有不存在變數,丟擲異常 set x 用來在執行結果之前,先輸出執行的哪一行命令 set e 只要發生錯誤就終止執行 set euxo pipefail 放在所有shell指令碼的開頭 echo vars 傳遞給指令碼或函式的所有引數 echo vars count num 傳遞給...