hdfs檔案系統:
hdfs 是訪問資料的分布式檔案系統,那麼對 hdfs 的操作,就是檔案系統的基本操作,比如檔案的建立、修改、刪除、修改許可權等,資料夾的建立、刪除、重新命名等。對hdfs 的操作命令類似於 llinux 的 shell 對檔案的操作,如 ls、mkdir、rm 等。
我們執行以下操作的時候,一定要確定 hadoop 是正常執行的,使用 jps 命令確保看到各個hadoop程序。
我們執行命令 hadoop fs,如圖 4-1 所示
這裡的命令並不是很全,下表中的命令是所有的hdfs-shell支援的命令:
選項名稱
使用格式
含義-ls
-ls《路徑》
檢視指定目錄的當前目錄結構
-lsr
-lsr《路徑》
遞迴檢視指定路徑的目錄結構
-du-du《路徑》
統計目錄下檔案大小
-dus
-dus《路徑》
匯**計目錄下檔案(夾)大小
-count
-count[-q]《路徑》
統計資料夾數量
-mv-mv《源路徑》《目的路徑》
移動-cp
-cp《源路徑》《目的路徑》
複製-rm
-rm[-skiptrash]《路徑》
刪除檔案或者空白資料夾
-rmr
-rmr[-skiptrash]《路徑》
遞迴刪除
-put
-put[多個linux上的檔案》
上傳檔案
-copyfromlocal
-copyfromlocal《多個linux上的檔案》
從本地複製
-movefromlocal
-movefromlocal《多個linux上的檔案》
從本地移動
-getmerge
-getmerge《源路徑》
合併到檔案
-cat
-cat
檢視檔案內容
-text
-text
檢視檔案內容
-copytolocal
-copytolocal[-ignorecrc][-crc][hdfs源路徑][linux目的路徑]
從本地複製
-movetolocal
-movetolocal [-crc]
從本地移動
-mkdir
-mkdir
建立空白資料夾
-setrep
-setrep[-r][-w]《副本數》《路徑》
修改副本檔案
-touchz
-touchz《檔案路徑》
建立空白檔案
-stat
-stat[format]《路徑》
顯示檔案統計資訊
-tail
-tail[-f]《檔案》
檢視檔案尾部資訊
-chmod
-chmod[-r]《許可權模式》[路徑]
修改許可權
-chown
-chown[-r][屬主][:[屬組]]路徑
修改屬主
-chgrp
-chgrp[-r] 屬組名稱 路徑
修改屬組
-help
-help [命令選項]
幫助-ls 顯示當前目錄結構
檢視指定路徑的當前目錄結構,後面跟hdfs路徑,如圖:
上圖中的路徑是hdfs的根目錄,顯示的檔案目錄與linux的命令-ls -l顯示的內容格式非常相似,下面解析每一行的內容格式:
注意:如果該命令選項後面沒有路徑,那麼就會訪問/user/《當前使用者》目錄,比如說,我們使用的是root使用者登入,因此會訪問/user/root/目錄,如果沒有/user/root/,會提示檔案不存在的錯誤。
-lsr 遞迴的顯示目錄結構
表示遞迴的顯示當前路徑下的目錄結構,後面跟hdfs路徑,如圖:
在user/目錄下有檔案abc,有個目錄root。
-du 統計目錄下各檔案大小
該命令選項顯示指定路徑下的檔案大小,單位是位元組,如圖:
-dus匯**計目錄下檔案大小
該命令顯示指定路徑的檔案大小,單位是位元組,如圖:
比較-du和-dus的執行結果,-du顯示的是該路徑下所有檔案的大小,-dus顯示的是該路徑下檔案的總大小。
HDFS中的shell操作
1.首先命令都是以hadoop fs 開頭 2.hadoop fs ls 檢視hdfs的根目錄下的內容,hadoop fs lsr 遞迴檢視根目錄下的內容 3.hadoop fs mkdir gao,在hdfs上建立資料夾gao 4.hadoop fs put 把資料從linux上傳到hdfs的特定...
HDFS的Shell基本操作
2.shell對hdfs進行操作 hdfs是hadoop的分布式檔案系統,提供海量資料的儲存。hdfs包括namenode和datanode。本身含有很多元資料資訊,儲存在fsimage檔案中 還含有file與block的對應關係。在執行的時候,這些資訊全部放在記憶體中。只有在執行的時候,才有的對映...
HDFS的常用Shell操作
0 啟動hadoop集群 sbin start dfs.sh sbin start yarn.sh 1 help 輸出這個命令引數 hadoop fs help rm 2 ls 顯示目錄資訊 hadoop fs ls 3 mkdir 在hdfs上建立目錄 hadoop fs mkdir p sang...