一、操作命令
hdfs的操作命令是以"hdfs dfs"開頭的命令，其中hdfs是hadoop系統在linux系統中的主命令，dfs是子命令，使用者通過命令可以完成hdfs檔案的複製、移動、查詢、刪除等操作，hdfs shell命令的一般格式如下：
hdfs dfs [通用選項]
其實就是 hdfs dfs -shell命令 -引數 執行內容或者作用的物件
hdfs dfs -mkdir /mydir
如果涉及的目錄都不存在則使用-p逐級建立：
hdfs dfs -mkdir -p /mydir1/mkdir2/mkdir3
hdfs dfs -ls[
-d][
-h][
-r] paths
引數解釋:
-d 表示返回路徑
-h 表示人性化的顯示檔案大小，即把小單位換成大單位的顯示。
-r 表示級聯顯示path下的檔案和目錄
此外，hdfs dfs -
ls/ 表示檢視hdfs檔案系統的根目錄
hdfs dfs -touchz paths
例子： hdfs dfs -touchz /mydir/input.txt
hdfs dfs -put [
-f][
-p] localsrc dst
或者hdfs dfs -copyfromlocal [
-f][
-p][
-l] localsrc dst
其中localsrc表示本地檔案的路徑，dst表示儲存在hdfs上面的路徑，下同。
hdfs dfs -movefromlocal localsrc dsthdfs dfs -get [
-p] src localdst
或者 hdfs dfs -copytolocal [
-p][
-ignorecrc]
[-crc] src localdst
src表示hdfs中檔案的完整路徑，localdst為要儲存在本地的檔名或者資料夾。
hdfs dfs -
cat/text [
-ignorecrc] src
hdfs dfs -tail [
-f] file
引數解釋:
-ignorecrc 忽略迴圈檢驗失敗的檔案
-f 動態更新顯示資料
意思是將localsrc指向的本地檔案內容寫入目標檔案dst,
如果是-則表示資料來自鍵盤輸入,ctrl+c組合鍵來結束輸入。
9.刪除目錄或者檔案:
hdfs dfs -rm[
-f][
-r] src
引數解釋：
-f表示如果要刪除的檔案不存在，則不顯示錯誤資訊。
-r表示級聯刪除目錄下的所有檔案和子目錄檔案，當然也可以指定檔案刪除。
hdfs dfs -du [
-s][
-h] path 表示按位元組顯示指定目錄所佔空間的大小
-s表示顯示指定目錄下檔案總的大小
-h表示人性化顯示查詢結果，即優化換算大單位來顯示。
hdfs dfs -cp[
-f][
-p|-p[topax]
] src dst
-f表示如果目標存在則強行覆蓋。
-p表示將儲存檔案的屬性
hdfs dfs -
mv src dst
src和dst都是hdfs檔案系統中的路徑或者檔案，
當src和dst是同乙個目錄時，-
mv相當於重新命名。
hdfs dfs -getmerge [
-nl] src localdst
例如：hdfs dfs -getmerge /mydir merge.txt
hdfs dfs -count [
-q][
-h] path
統計某個目錄下的子目錄與檔案的個數以及檔案大小，
統計的結果包含目錄數、檔案數、檔案大小。
hdfs dfs -setfattr path
-n 表示指定屬性的名稱name，屬性名稱必須以「user/trusted/security/system/raw」中的
某乙個為字首，比如「user.myattr」;
-v 是指定屬性的值
-x 表示要刪除某個屬性name，在刪除屬性時使用此選項引數。
hdfs dfs -getfattr [
-r][
-e en] path
-n 表示指定屬性的名稱
-d表示顯示所有屬性
-e表示enconding，包含text、hex、base64等
例如： hdfs dfs -getfattr -d /mydir/
data
.txt
管理命令是以"hdfs dfsadmin"開頭的命令，通過這些命令可以管理hdfs，管理的一般格式如下：
hdfs dfsadmin [通用選項]1.報告檔案系統的基本資訊和統計資訊：(比如可以顯示記憶體占用情況等等)
hdfs dfsadmin -reporthdfs dfsadmin -printtopology把操作命令和管理命令之外的其它命令統稱為其它命令，比如
hdfs namenode -format；hdfs回車檢視支援的所有子命令。 HDFS Shell基本操作
hdfs dfs 命令 命令 等價於 hadoop fs 1 bin hdfs dfs mkdir p user hadoop 基本操作在hadoop目錄bin中hdfs 後跟dfs mkdir 建立目錄 p代表建立多級目錄 2 hadoop fs ls 表示當前使用者目錄 3 hadoop fs ...
hdfs shell的基本操作
目錄 hdfs基本操作 1 查詢命令 2 建立資料夾 3 建立新的空檔案 4 增加檔案 5 檢視檔案內容 6 複製檔案 7 刪除檔案或資料夾 8 重新命名檔案 9 將源目錄中的所有檔案排序合併到乙個本地檔案 hadoop dfs ls 查詢 目錄下的所有檔案和資料夾 hadoop dfs ls r ...
HDFS Shell 常用命令
hadoop fs cmd opt arg1 arg2 關於path hdfs hdfs namenodehost absolutepath 簡寫 absolutepath 本地 file absolutepath 簡寫 absolutepath 或者相對路徑 relatepath hadoop f...