HDFS中的shell操作

2022-03-11 17:36:48 字數 2607 閱讀 1440

hdfs檔案系統: 

hdfs 是訪問資料的分布式檔案系統,那麼對 hdfs 的操作,就是檔案系統的基本操作,比如檔案的建立、修改、刪除、修改許可權等,資料夾的建立、刪除、重新命名等。對hdfs 的操作命令類似於 llinux 的 shell 對檔案的操作,如 ls、mkdir、rm 等。

我們執行以下操作的時候,一定要確定 hadoop 是正常執行的,使用 jps 命令確保看到各個hadoop程序。

我們執行命令 hadoop fs,如圖 4-1 所示

這裡的命令並不是很全,下表中的命令是所有的hdfs-shell支援的命令:

選項名稱

使用格式

含義-ls

-ls《路徑》

檢視指定目錄的當前目錄結構

-lsr

-lsr《路徑》

遞迴檢視指定路徑的目錄結構

-du-du《路徑》

統計目錄下檔案大小

-dus

-dus《路徑》

匯**計目錄下檔案(夾)大小

-count

-count[-q]《路徑》

統計資料夾數量

-mv-mv《源路徑》《目的路徑》

移動-cp

-cp《源路徑》《目的路徑》

複製-rm

-rm[-skiptrash]《路徑》

刪除檔案或者空白資料夾

-rmr

-rmr[-skiptrash]《路徑》

遞迴刪除

-put

-put[多個linux上的檔案》

上傳檔案

-copyfromlocal

-copyfromlocal《多個linux上的檔案》

從本地複製

-movefromlocal

-movefromlocal《多個linux上的檔案》

從本地移動

-getmerge

-getmerge《源路徑》

合併到檔案

-cat

-cat

檢視檔案內容

-text

-text

檢視檔案內容

-copytolocal

-copytolocal[-ignorecrc][-crc][hdfs源路徑][linux目的路徑]

從本地複製

-movetolocal

-movetolocal [-crc]

從本地移動

-mkdir

-mkdir

建立空白資料夾

-setrep

-setrep[-r][-w]《副本數》《路徑》

修改副本檔案

-touchz

-touchz《檔案路徑》

建立空白檔案

-stat

-stat[format]《路徑》

顯示檔案統計資訊

-tail

-tail[-f]《檔案》

檢視檔案尾部資訊

-chmod

-chmod[-r]《許可權模式》[路徑]

修改許可權

-chown

-chown[-r][屬主][:[屬組]]路徑

修改屬主

-chgrp

-chgrp[-r] 屬組名稱 路徑

修改屬組

-help

-help [命令選項]

幫助-ls 顯示當前目錄結構

檢視指定路徑的當前目錄結構,後面跟hdfs路徑,如圖:

上圖中的路徑是hdfs的根目錄,顯示的檔案目錄與linux的命令-ls -l顯示的內容格式非常相似,下面解析每一行的內容格式:

注意:如果該命令選項後面沒有路徑,那麼就會訪問/user/《當前使用者》目錄,比如說,我們使用的是root使用者登入,因此會訪問/user/root/目錄,如果沒有/user/root/,會提示檔案不存在的錯誤。

-lsr 遞迴的顯示目錄結構

表示遞迴的顯示當前路徑下的目錄結構,後面跟hdfs路徑,如圖:

在user/目錄下有檔案abc,有個目錄root。

-du 統計目錄下各檔案大小

該命令選項顯示指定路徑下的檔案大小,單位是位元組,如圖:

-dus匯**計目錄下檔案大小

該命令顯示指定路徑的檔案大小,單位是位元組,如圖:

比較-du和-dus的執行結果,-du顯示的是該路徑下所有檔案的大小,-dus顯示的是該路徑下檔案的總大小。

HDFS中的shell操作

1.首先命令都是以hadoop fs 開頭 2.hadoop fs ls 檢視hdfs的根目錄下的內容,hadoop fs lsr 遞迴檢視根目錄下的內容 3.hadoop fs mkdir gao,在hdfs上建立資料夾gao 4.hadoop fs put 把資料從linux上傳到hdfs的特定...

HDFS的Shell基本操作

2.shell對hdfs進行操作 hdfs是hadoop的分布式檔案系統,提供海量資料的儲存。hdfs包括namenode和datanode。本身含有很多元資料資訊,儲存在fsimage檔案中 還含有file與block的對應關係。在執行的時候,這些資訊全部放在記憶體中。只有在執行的時候,才有的對映...

HDFS的常用Shell操作

0 啟動hadoop集群 sbin start dfs.sh sbin start yarn.sh 1 help 輸出這個命令引數 hadoop fs help rm 2 ls 顯示目錄資訊 hadoop fs ls 3 mkdir 在hdfs上建立目錄 hadoop fs mkdir p sang...