hadoop client命令使用

2021-07-06 03:57:42 字數 1064 閱讀 8755

1.hadoop-client命令的使用方法

hadoop-client的命令的使用,都是用/bin/hadoop指令碼來呼叫的。

2.常見的hadoop-client的工具命令

(1).fsshell

hdfs(

hadoop distributed filesystem)提供乙個類似於unix shell的命令介面fsshell,

通過fsshell

可以和hdfs

或者其他

hadoop

平台支援的檔案系統

進行資料互動。

命令的格式為:

/bin/hadoop fs [args]

命令舉例說明:(a

)檢視檔案或目錄的屬性

hadoop fs -ls /user/hadoop/file1
(b

)刪除乙個檔案

hadoop fs -rm /user/hadoop/file1
(c

)命令是將

hdfs資料夾內的檔案合併並保持到本地。

hadoop fs -getmerge -nl /src /opt/output.txt #將/src目錄中的檔案合併,然後寫入到/opt/output.txt檔案中。

hadoop fs -getmerge-nl /src/file1.txt /src/file2.txt /output.txt

其中-nl

選項在被合併的檔案的結尾加上換行符

(2).

distcp工具

distcp工具用來在同乙個

hadoop集群或不同hadoop集群間進行資料的拷貝操作。

使用舉例:

hadoop distcp hdfs://nn1:8020/foo/bar hdfs://nn2:8020/bar/foo

(3).jar工具

提交乙個

jar檔案的hadoop任務

scaffold dbcontext 命令使用說明

工具的scaffold dbcontext 資料庫上下文腳手架 指令來生成models和context。指令詳細介紹 scaffold dbcontext connection provider outputdir context schemas tables dataannotations for...

scaffold dbcontext 命令使用說明

scaffold dbcontext 命令使用說明 工具的scaffold dbcontext 資料庫上下文腳手架 指令來生成models和context。指令詳細介紹 scaffold dbcontext connection provider outputdir context schemas ...

scaffold dbcontext 命令使用說明

工具的scaffold dbcontext 資料庫上下文腳手架 指令來生成models和context。指令詳細介紹 scaffold dbcontext connection provider outputdir context schemas tables dataannotations for...