Hadoop 命令參考

2021-08-03 22:18:22 字數 2542 閱讀 8497

「$ hadoop_home / bin / hadoop fs」中有更多的命令比這裡演示的更多,儘管這些基本操作將讓您開始。執行./bin/hadoop dfs,沒有其他引數將列出可以使用fsshell系統執行的所有命令。此外,如果您遇到困難,$ hadoop_home / bin / hadoop fs -help commandname將顯示有關操作的簡短使用摘要。

所有操作的**如下所示。以下約定用於引數:

"" means any file or directory name. 

"..." means one or more file or directory names.

"" means any filename.

"" and "" are path names in a directed operation.

"" and "" are paths as above, but on the local file system.

所有其他檔案和路徑名稱都是指hdfs內的物件。

no詳細資訊

1。ls列出由path指定的目錄的內容,顯示每個條目的名稱,許可權,所有者,大小和修改日期。

2。lsr行為像-ls,但遞迴顯示路徑的所有子目錄中的條目。

3。du顯示與路徑匹配的所有檔案的磁碟使用情況(以位元組為單位)使用完整的hdfs協議字首報告檔名。

4。dus如-du,但列印路徑中所有檔案/目錄的磁碟使用情況的摘要。

5。mv在hdfs中將src指定的檔案或目錄移動到dest。

6。cp在hdfs中將src標識的檔案或目錄複製到dest。

7。rm刪除由路徑識別的檔案或空目錄。

8。rmr刪除由路徑識別的檔案或目錄。遞迴刪除任何子條目(即路徑的檔案或子目錄)。

9。put將檔案或目錄從localsrc標識的本地檔案系統複製到dfs內的dest。

10。copyfromlocal相同的輸入

11。movefromlocal將檔案或目錄從localsrc標識的本地檔案系統複製到hdfs內的dest,然後成功刪除本地副本。

12。get [-crc]將由src標識的hdfs中的檔案或目錄複製到由localdest標識的本地檔案系統路徑。

13。getmerge檢索與hdfs中的路徑src匹配的所有檔案,並將其複製到由localdest標識的本地檔案系統中的單個合併檔案。

14。cat在stdout上顯示檔名的內容。

15。copytolocal與-get相同

16。movetolocal像–get一樣工作,但成功刪除了hdfs副本。

17。mkdir在hdfs中建立乙個名為path的目錄。 建立路徑中缺少的任何父目錄(例如,linux中的mkdir -p)。

18。setrep [-r] [-w] rep為通過**的路徑標識的檔案設定目標複製因子。(實際的複製因素會隨著時間的推移朝向目標)

19。touchz在包含當前時間的路徑上建立乙個檔案作為時間戳。如果檔案已存在於路徑中,則失敗,除非該檔案已經是大小0。

20。test - [ezd]如果路徑存在則返回1; 長度為零 或者是目錄,否則為0。

21。stat [format]列印有關路徑的資訊。格式是以塊(%b),檔名(%n),塊大小(%o),複製(%r)和修改日期(%y,%y))接受檔案大小的字串。

22。tail [-f]顯示stdout上最後1kb的檔案。

23。chmod [-r] mode,mode,… …更改與路徑標識的乙個或多個物件相關聯的檔案許可權。以r.模式遞迴執行更改為3位八進位制模式,或 +/- 。假設沒有指定範圍,並且不應用umask。

24。chown [-r] [owner] [:[group]] …設定由path ….標識的檔案或目錄的擁有使用者和/或組。如果指定了-r,則遞迴設定所有者。

25。chgrp [-r] group …設定由path ….標識的檔案或目錄的所有組。如果指定了-r,則遞迴設定組。

26。help返回上面列出的其中乙個命令的使用資訊。你必須在cmd中省略前導的』 - 『字元。

大資料框架學習入門Hadoop命令參考

在 hadoop home bin hadoop fs 裡有更多的命令。bin hadoop dfs 列出所有可以使用在fsshell系統上執行的命令。此外,hadoop home bin hadoop fs help 命令名稱會顯示乙個簡短的用法。所有表的操作如下所示。以下是使用引數一般方式 me...

hadoop個人筆記,僅供自己參考

hadoop可以看做成乙個軟體,就是執行在linux系統上。對集群上的檔案進行操作是,前面得加上hadoop fs,例如檢視集群上的更目錄下的檔案 hadoop fs ls 將本地 linux系統 上的檔案放到集群中時,例如目錄input,下面有a.txt b.txt這兩個檔案,首先轉到檔案所在的目...

EFI Shell 命令參考

引導命令 efi shell 與 npartition 引導有關的命令。autoboot 設定 檢視 自動引導超時變數 bcfg 顯示 或修改 驅動程式 或引導配置 boottest 設定 或檢視 boottest 位。dbprofile 顯示 修改要由 lanboot 使用的直接引導配置檔案 la...