大資料框架學習入門Hadoop命令參考

2021-09-24 19:34:41 字數 2277 閱讀 6521

在「$hadoop_home/bin/hadoop fs」 裡有更多的命令。./bin/hadoop dfs 列出所有可以使用在fsshell系統上執行的命令。此外,$hadoop_home/bin/hadoop fs -help 命令名稱會顯示乙個簡短的用法。

所有表的操作如下所示。以下是使用引數一般方式:

"" means any file or directory name.   "..." means one or more file or directory names.   "" means any filename.   "" and "" are path names in a directed operation.   "" and "" are paths as above, but on the local file system.
所有其他檔案和路徑名是指hdfs內部的物件。

1.ls列出路徑指定的目錄中的內容,示出了名稱,許可權,擁有者,大小和修改日期的每個條目。

2.lsr行為類似於-ls,但遞迴顯示路徑的所有子目錄項。

3.du顯示磁碟使用率,以位元組為單位,對所有的檔案,這些檔案匹配的路徑;檔名報告使用完整hdfs協議字首。

4.dus類似-du,但列印路徑中的所有檔案/目錄的磁碟使用情況的摘要。

5.mv通過移動表示src到dest,在hdfs的檔案或目錄。

6.cp在hdfs複製確定src中的檔案或目錄到dest。

7.rm刪除檔案或路徑標識的空目錄。

8.rmr刪除路徑標識的檔案或目錄。遞迴刪除所有子條目(例如,檔案或路徑的子目錄)。

9.put從本地localsrc檔案系統中的dfs標識檔案或目錄內複製到dest。

10.copyfromlocal等同於-put

11.movefromlocal從標識 localsrc本地檔案系統中的檔案或目錄中hdfs複製到dest,然後刪除本地副本上成功。

12.get [-crc]拷貝標識 src 來確定localdest本地檔案系統路徑hdfs檔案或目錄。

13.getmerge檢索匹配的路徑的src hdfs中的所有檔案,並將它們複製合併檔案到標識localdest本地檔案系統中。

14.cat顯示在標準輸出檔名的內容。

15.copytolocal等同於 -get

16.movetolocal工作方式類似於-get,但刪除hdfs複製成功。

17.mkdir在建立乙個hdfs命名的目錄路徑。

建立任何父目錄的路徑丟失(例如,命令mkdir-p在linux中)。

18.setrep [-r] [-w] rep設定標識路徑代表檔案的目標檔案複製因子。 (實際的複製因子會向著隨著時間的推移目標移動)

19.touchz建立在路徑包含當前時間作為時間戳的檔案。失敗如果檔案已經存在於路徑,除非檔案已經大小為0。

20.test -[ezd]返回1,如果路徑存在;長度為零;或者是乙個目錄,否則為0。

21.stat [format]列印有關的路徑資訊。格式是接受塊檔案大小(%b),檔名(%n),塊大小(%o),複製(%r)和修改日期(%y,%y)的字串。

22.tail [-f]顯示在標準輸出檔案的最後1kb。

23.chmod [-r] mode,mode,… …變化符合路徑標識的乙個或多個物件關聯的檔案許可權….遞迴執行變更與r.模式是3位八進位制模式,或+/-。假設如果沒有指定範圍,則不適用umask。

24.chown [-r] [owner][:[group]] …設定擁有使用者和/或組標識路徑的檔案或目錄….設定所有者遞迴,如果指定-r。

25.chgrp [-r] group … 設定所屬組標識路徑的檔案或目錄….設定組遞迴,如果指定-r。

26.help返回使用上面列出的命令之一資訊。必須省略了』-『 字元在cmd。

Hadoop大資料開發框架學習

hadoop是apache發布的開源分布式基礎架構 他的兩個核心是 兩部分就組成了hadoop的分布式基礎架構 hdfs作為hadoop為儲存海量資料,自然有著與傳統檔案系統有著不同的結構,它是以linux檔案系統的基礎的架構,構建裡一套分布式檔案系統,它是由乙個namenode和多台datanod...

大資料框架Hadoop教程

hadoop是乙個開源框架,它允許在整個集群使用簡單程式設計模型計算機的分布式環境儲存並處理大資料。它的目的是從單一的伺服器到上千臺機器的擴充套件,每乙個台機都可以提供本地計算和儲存。90 的世界資料在過去的幾年中產生 由於新技術,裝置和類似的社交 通訊裝置的出現,人類產生的資料量每年都在迅速增長。...

大資料入門之Hadoop基礎學習

資料採集引擎 sqoop flumezookeeper 實現hadoop的ha oozie 工作流引擎第一階段 scala程式語言 第二階段 spark core 基於記憶體 資料的計算 第三階段 spark sql 類似於mysql 的sql語句 第四階段 spark streaming 進行流式...