[size=medium] hdfs 常用的檔案操作命令
1.-cat
使用方法:hadoop fs -cat uri
說明:將路徑指定的檔案輸出到螢幕
示例: hadoop fs -cat hdfs://host1:port1/file
hadoop fs -cat file:///file3
2.-copyfromlocal
使用方法:hadoop fs -copyfromlocal uri
說明: 將本地檔案複製到 hdfs 中。
3.copytolocal
使用方法:hadoop fs -copytolocal uri
說明: 將乙個檔案從 hdfs 系統中複製到本地檔案
4.-cp
使用方法:hadoop fs -cp uri
說明:將檔案從源路徑複製到目標路徑。這個命令可以複製多個源路徑,但是目標路徑必須
是乙個目錄
示例: hadoop fs -cp /user/file /uesr/files
hadoop fs -cp /user/file1 /user/files /user/dir
5.-du
使用方法:hadoop fs -du uri
說明: 顯示目錄中所有檔案大小,或者指定乙個檔案時,顯示此檔案大小
示例: hadoop fs -du /user/dir1
hadoop fs -du hdfs://host:port/user/file
6.-dus
使用方法:hadoop fs -dus
說明: 顯示目標檔案大小
7.-expunge
使用方法:hadoop fs -expunge
說明: 用於清空**站
8.-get
使用方法:hadoop fs -get
說明:複製檔案到本地檔案系統。
示例: hadoop fs -get /user/file localfile
hadoop fs -get hdfs://host:port/file localfile
9.-ls
使用方法:hadoop fs -ls
說明:瀏覽本地檔案,並按如下格式返回檔案資訊
檔名《副本數》 檔案大小 修改日期 許可權 使用者 id/組 id
如果瀏覽的是乙個木瀆,則返回其子檔案的乙個列表,資訊如下:
目錄名修改日期 修改時間 許可權 使用者 id/組 id
示例: hadoop fs -ls /user/file
hadoop fs -ls hdfs://host:port/user/dir
10.-lsr
使用方法:hadoop fs -lsr
說明: 遞迴第查閱檔案內容
11.-mkdir
使用方法:hadoop fs -mkdir
說明: 建立對應的檔案目錄,並直接建立相應的父目錄
示例: hadoop fs -mkdir /user/dir1/dir2/dir3/file
hadoop fs -mkdir hdfs://host:port/user/dir
12.-mv
使用方法:hadoop fs -mv uri
說明: 將原始檔移動到目標路徑,這目標路徑可以有多個,不允許在不同檔案系統移動。
示例: hadoop fs -mv /user/file1 /user/file2
hadoop fs -mv hdfs://host:port/file1 hdfs://host:prot/file2
13.-put
使用方法:hadoop fs -put
說明: 從本地檔案系統複製單個或多個源路徑到目標檔案系統。
示例: hadoop fs -put localfile /user/file
hadoop fs -put localfile hdfs://host:port/user/file
14.-rm
使用方法: hadoop fs -rm uri
說明:刪除指定的檔案,且要求非空的目錄和檔案。
示例: hadoop fs -rm hdfs://host:port/file
15.-rmr
使用方法: hadoop fs -rmr uri
說明:遞迴地刪除指定檔案中的空目錄。
16.-setrep
使用方法: hadoop fs -setrep [r]
說明: 改變乙個副本複製份數
示例: hadoop fs -setrep -w 3 -r /user/file
17.-test
使用方法:hadoop fs -test -[ezd] uri
說明: 使用 e z d 對檔案進行檢查
-e 檢查檔案是否存在,若存在返回值為 0;
-z 檢查檔案是否為 0 位元組,如果是則返回 0;
-d 檢查路徑是否為目錄,如果是則返回 1,否則返回 0
18.-text
使用方法:hadoop fs -text
說明:將原始檔輸出為文字格式,執行的格式是 zip 以及 text 類
以上是 hdfs 中使用命令列對 hdfs 中檔案進行操作,與一般操作命令類似,例如我們
將某乙個檔案從本地的檔案系統複製到 hdfs 中。可以通過執行以下命令進行操作:
$ hadoop fs -copyfromlocal /user/localfile.txt sample.txt
此部分**通過呼叫命令 fs,指定執行指令碼命令-copyfromlocal,將本地文 localfile.txt
複製到執行在 localhost 上的 hdfs 檔案系統中。[/size]
HDFS常用命令
選項名稱 使用格式 含義 ls ls 路徑 檢視指定路徑的當前目錄結構 lsr lsr 路徑 遞迴檢視指定路徑的目錄結構 du du 路徑 統計目錄下個檔案大小 dus dus 路徑 匯 計目錄下檔案 夾 大小 count count q 路徑 統計檔案 夾 數量 mv mv 源路徑 目的路徑 移動...
hdfs常用命令
hdfs檔案的相關操作主要使用hadoop fs hadoop dfs hdfs dfs 命令,以下對最常用的相關命令進行簡要說明。hadoop fs ls 顯示當前目錄結構,ls r 遞迴顯示目錄結構 hadoop fs mkdir 建立目錄 hadoop fs rm 刪除檔案,rm r 遞迴刪除...
Hdfs常用命令
1 列出hdfs下的所有檔案 hdfs dfs ls 例如,檢視ptc growt 件夾下的所有檔案 hdfs dfs ls user ptc growth 2 檢視某一檔案的內容 hdfs dfs text 例如 hdfs dfs text user ptc growth platc wx log...