HDFS的一些常用指令

2022-08-24 05:06:11 字數 1269 閱讀 2662

一、檢視hdfs的檔案目錄

1  列出hdfs下的檔案

/usr/local/hadoop(即hadoop的安裝目錄)$bin/hadoop dfs -ls

2 列出hdfs檔案下名為in的文件中的檔案

/usr/local/hadoop(即hadoop的安裝目錄)$bin/hadoop dfs -ls in

二、 上傳檔案

1 將hadoop目錄下的test1檔案上傳到hdfs上:

/usr/local/hadoop(即hadoop的安裝目錄)$bin/hadoop dfs -put test1

2 將hadoop目錄下的test1檔案上傳到hdfs上並重命名為test:

/usr/local/hadoop(即hadoop的安裝目錄)$bin/hadoop dfs -put test1 test

三、 檔案被複製到本地系統中

將hdfs中的in檔案複製到本地系統並命名為getin:

/usr/local/hadoop(即hadoop的安裝目錄)$bin/hadoop dfs -get in getin

四、 刪除文件

1 刪除hdfs下名為out的檔案:

/usr/local/hadoop(即hadoop的安裝目錄)$bin/hadoop dfs -rmr out

2 刪除hdfs下名為out的資料夾:

/usr/local/hadoop(即hadoop的安裝目錄)$bin/hadoop dfs -rm out

五、 檢視檔案內容

檢視hdfs下in檔案中的內容:

/usr/local/hadoop(即hadoop的安裝目錄)$bin/hadoop dfs -cat in/*

六、 建立目錄

/usr/local/hadoop(即hadoop的安裝目錄)$bin/hadoop dfs -mkdir /user/hadoop/examples(目錄/目錄名)

只能一級一級的建目錄。

七、複製檔案

/usr/local/hadoop(即hadoop的安裝目錄)$bin/hadoop dfs -copyfromlocal 源路徑 路徑

八、通過hadoop命令把兩個檔案的內容合併起來

hdfs dfs -getmerge 位於hdfs中的原檔案(裡面有多個檔案) 合併後的檔名

例如:hdfs dfs -getmerge hdfs://master:9000/data/sogouresult.txt combinedresult

注:合併後的檔案位於當前目錄,不在hdfs中,是本地檔案

一些git常用指令

cd e androidsss 具體進入到那個碟符 git init 生成.git資料夾 在當前目錄新建乙個git 庫 git status 檢視狀態裡面有幾個檔案 git commit am 提交到遠端伺服器 加備註 遇到的問題 git config global user.email 18513...

llvm clang esl 一些常用指令

1 clang emit llvm c test.c 2 llvm link x.bc y.bc z.bc o final.bc 3 llvm dis x.bc im x.bc 多級指標 stl 類 lli hw.ll gdb home zhgu workspace llvm 6.0.0 build...

常用的一些Linux指令

常用指令 ls 顯示檔案或目錄 l 列出檔案詳細資訊l list a 列出當前目錄下所有檔案及目錄,包括隱藏的a all mkdir 建立目錄 p 建立目錄,若無父目錄,則建立p parent cd 切換目錄 touch 建立空檔案 echo 建立帶有內容的檔案。cat 檢視檔案內容 cp 拷貝 m...