記錄常用hdfs命令
1、新建目錄
hadoop fs -mkdir
notice：mkdir新建目錄的時候，父目錄必須存在。hadoop不能自動生成父目錄。比如：要新建hdfs://common-use/software時，hdfs://common-use/需存在
hadoop fs -mkdir hdfs://common-use/software/hadoop fs -rm （不能刪除目錄）
hadoop fs -rm -r 遞迴刪除目錄及其子檔案
notice：任何的刪除操作都要謹慎
hadoop fs -rm hdfs://common-use/software/test.txt
hadoop fs -rm -r hdfs://common-use/software
hadoop fs -ls
hadoop fs -ls -r 遞迴展示目錄結構，展示當前目錄下的所有子檔案及資料夾
hadoop fs -ls hdfs://common-use/software/
hadoop fs -ls -r hdfs://common-use/software/
hadoop fs -du 以位元組為單位
hadoop fs -du -s 當前目錄檔案大小總和
hadoop fs -du -h 顯示熟悉的常用單位g,m，一目了然（常用）
notice：清理大檔案的時候，可以直接使用hadoop fs -du -h ***|grep 「g」，把大於1g的提取出來
hadoop fs -du hdfs://common-use/software/
hadoop fs -du -h hdfs://common-use/software/
hadoop fs -du -s hdfs://common-use/software/
hadoop fs -cat
hadoop fs -text 檢視檔案內容
兩者的區別在於，text會進行解碼操作，cat不會
notice：有時候內容很多，需要hadoop fs -cat *** | head，限制下條數
hadoop fs -cat hdfs://common-use/software/test.txt
hadoop fs -cat hdfs://common-use/software/test.txt |
head -10
hadoop fs -text hdfs://common-use/software/test.txt |
head -10
hadoop fs -put [localfile] [dst]
hadoop fs - copyfromlocal [localfile] [dst]
兩種方法效果相同
hadoop fs -put test.txt hdfs://common-use/software/
hadoop fs -copyfromlocal test.txt hdfs://common-use/software/
hadoop fs -get [hdfsfile] [localfile]
hadoop fs -copytolocal [hdfsfile] [localsrc]
有時候需要把乙個目錄下的很多檔案聚合在一起
hadoop fs - getmerge [dstdir] [localfile]
hadoop fs -get hdfs://common-use/software/test.txt .
#localfile是「.」，則是保留hdfs的檔名
hadoop fs -copytolocal hdfs://common-use/software/test.txt .
hadoop fs -getmerge hdfs://common-use/software test.txt
hadoop fs -test -e
存在返回「0「，不存在返回「1「」
經常會判斷檔案狀態值，決定是否做下一步操作或者告警
hadoop fs -test -e hdfs://common-use/software/test.txt if[
$? -eq 0 ]
;then
exit 0
fi
hadoop fs -tail
預設為3行
hadoop fs -tail hdfs://common-use/software/test.txt從源目錄複製檔案到目標目錄
notice：較大的檔案最好別複製了，執行速度相當慢
hadoop fs -cp [src] [dst]
hadoop fs -cp hdfs://common-use/software/test.txt hdfs://common-use/software_v1/從源目錄移動檔案到目標目錄
notice：mv操作也是可以實現重新命名的
hadoop fs -mv [src] [dst]
hadoop fs -mv hdfs://common-use/software/test.txt hdfs://common-use/software_v1/test.txthadoop fs -touchz 新建空檔案
通常是實現執行完後的標記
hadoop fs -touchz hdfs://common-use/software/donegit命令小抄本
建立乙個倉庫 git init 把檔案新增到倉庫 git add readme.txt 把檔案提交到倉庫 git commit m wrote a readme file 檢視倉庫狀態 git status 檢視某個檔案的修改記錄 git diff readme.txt 檢視倉庫的歷史提交記錄 gi...
我的docker命令小抄
運維的同學幫忙配置好了乙個docker的映象，但是docker映象執行的時候沒有掛載我想要的目錄，這個時候我需要一頓操作來滿足我的要求。根據上面檢視命令的結果得到的container id為4c774d7a39fc sudo docker commit 4c774d7a39fc hdfs clien...
hdfs使用操作命令
cat 使用方法 hadoop fs cat uri uri 將路徑指定檔案的內容輸出到stdout 例項 hadoop fs cat file file3 user hadoop file4 chgrp 使用方法 hadoop fs chgrp r group uri uri 改變檔案所屬的組。使...