使用方法:hadoop fs -ls [-h] [-r]
功能:顯示檔案、目錄資訊。
示例:hadoop fs -ls /user/hadoop/file1
使用方法:hadoop fs -mkdir [-p]
功能:在 hdfs 上建立目錄,-p 表示會建立路徑中的各級父目錄。
示例:hadoop fs -mkdir –p /user/hadoop/dir1
使用方法:hadoop fs -put [-f] [-p] [ -|.. ].
功能:將單個 src 或多個 srcs 從本地檔案系統複製到目標檔案系統。
-p:保留訪問和修改時間,所有權和許可權。
-f:覆蓋目的地(如果已經存在)
示例:hadoop fs -put -f localfile1 localfile2 /user/hadoop/hadoopdir
使用方法:hadoop fs -get [-ignorecrc] [-crc] [-p] [-f]
功能:將檔案複製到本地檔案系統。
示例:hadoop fs -get hdfs://host:port/user/hadoop/file localfile
功能:追加乙個檔案到已經存在的檔案末尾
使用方法:hadoop fs -cat [-ignorecrc] uri [uri ...]
功能:顯示檔案內容到 stdout
示例:hadoop fs -cat /hadoop/hadoopfile
使用方法:hadoop fs -tail [-f] uri
功能:將檔案的最後一千位元組內容顯示到 stdout。
-f 選項將在檔案增長時輸出附加資料。
示例:hadoop fs -tail /hadoop/hadoopfile
使用方法:hadoop fs -chgrp [-r] group uri [uri ...]
功能:更改檔案組的關聯。使用者必須是檔案的所有者,否則是超級使用者。
-r 將使改變在目錄結構下遞迴進行。
示例:hadoop fs -chgrp othergroup /hadoop/hadoopfile
功能:改變檔案的許可權。使用-r 將使改變在目錄結構下遞迴進行。
示例:hadoop fs -chmod 666 /hadoop/hadoopfile
功能:改變檔案的擁有者。使用-r 將使改變在目錄結構下遞迴進行。
示例:hadoop fs -chown someuser:somegrp /hadoop/hadoopfile
使用方法:hadoop fs -copyfromlocal uri
功能:從本地檔案系統中拷貝檔案到 hdfs 路徑去(相當於put)
示例:hadoop fs -copyfromlocal /root/1.txt /
功能:從 hdfs 拷貝到本地(相當於get)
示例:hadoop fs -copytolocal /aaa/jdk.tar.gz
功能:從 hdfs 的乙個路徑拷貝 hdfs 的另乙個路徑
示例: hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2
功能:在 hdfs 目錄中移動檔案
示例: hadoop fs -mv /aaa/jdk.tar.gz /
示例:比如 hdfs 的目錄 /aaa/下有多個檔案:log.1, log.2,log.3,...
hadoop fs -getmerge /aaa/log.* ./log.sum
功能:刪除指定的檔案。只刪除非空目錄和檔案。-r 遞迴刪除。
示例:hadoop fs -rm -r /aaa/bbb/
功能:統計檔案系統的可用空間資訊
示例:hadoop fs -df -h /
功能:顯示目錄中所有檔案大小,當只指定乙個檔案時,顯示此檔案的大小。
示例:hadoop fs -du /user/hadoop/dir1
功能:改變乙個檔案的副本係數。-r 選項用於遞迴改變目錄下所有檔案的副本
係數。示例:hadoop fs -setrep -w 3 -r /user/hadoop/dir1
HDFS的基本操作
mkdir 在hdfs建立目錄 hdfs dfs mkdir data ls 檢視當前目錄 hdfs dfs ls ls r 檢視目錄與子目錄 put 上傳乙個檔案 hdfs dfs put data.txt data input movefromlocal 上傳乙個檔案,會刪除本地檔案 ctrl ...
HDFS的Shell基本操作
2.shell對hdfs進行操作 hdfs是hadoop的分布式檔案系統,提供海量資料的儲存。hdfs包括namenode和datanode。本身含有很多元資料資訊,儲存在fsimage檔案中 還含有file與block的對應關係。在執行的時候,這些資訊全部放在記憶體中。只有在執行的時候,才有的對映...
Hadoop 02 HDFS基本操作
hdfs是乙個檔案系統,用於儲存檔案,通過統一的命名空間 目錄樹來定位檔案,其次,它是分布式的,由很多伺服器聯合起來實現其功能,集群中的伺服器有各自的角色 重要特性如下 1 hdfs中的檔案在物理上是分塊儲存 block 塊的大小可以通過配置引數 dfs.blocksize 來規定,預設大小在had...