HDFS基本操作

2021-08-21 05:45:47 字數 2121 閱讀 9610

使用方法:hadoop fs -ls [-h] [-r]

功能:顯示檔案、目錄資訊。

示例:hadoop fs -ls /user/hadoop/file1

使用方法:hadoop fs -mkdir [-p]

功能:在 hdfs 上建立目錄,-p 表示會建立路徑中的各級父目錄。

示例:hadoop fs -mkdir –p /user/hadoop/dir1

使用方法:hadoop fs -put [-f] [-p] [ -|.. ].

功能:將單個 src 或多個 srcs 從本地檔案系統複製到目標檔案系統。

-p:保留訪問和修改時間,所有權和許可權。

-f:覆蓋目的地(如果已經存在)

示例:hadoop fs -put -f localfile1 localfile2 /user/hadoop/hadoopdir

使用方法:hadoop fs -get [-ignorecrc] [-crc] [-p] [-f]

功能:將檔案複製到本地檔案系統。

示例:hadoop fs -get hdfs://host:port/user/hadoop/file localfile

功能:追加乙個檔案到已經存在的檔案末尾

使用方法:hadoop fs -cat [-ignorecrc] uri [uri ...]

功能:顯示檔案內容到 stdout

示例:hadoop fs -cat /hadoop/hadoopfile

使用方法:hadoop fs -tail [-f] uri

功能:將檔案的最後一千位元組內容顯示到 stdout。

-f 選項將在檔案增長時輸出附加資料。

示例:hadoop fs -tail /hadoop/hadoopfile

使用方法:hadoop fs -chgrp [-r] group uri [uri ...]

功能:更改檔案組的關聯。使用者必須是檔案的所有者,否則是超級使用者。

-r 將使改變在目錄結構下遞迴進行。

示例:hadoop fs -chgrp othergroup /hadoop/hadoopfile

功能:改變檔案的許可權。使用-r 將使改變在目錄結構下遞迴進行。

示例:hadoop fs -chmod 666 /hadoop/hadoopfile

功能:改變檔案的擁有者。使用-r 將使改變在目錄結構下遞迴進行。

示例:hadoop fs -chown someuser:somegrp /hadoop/hadoopfile

使用方法:hadoop fs -copyfromlocal uri

功能:從本地檔案系統中拷貝檔案到 hdfs 路徑去(相當於put)

示例:hadoop fs -copyfromlocal /root/1.txt /

功能:從 hdfs 拷貝到本地(相當於get)

示例:hadoop fs -copytolocal /aaa/jdk.tar.gz

功能:從 hdfs 的乙個路徑拷貝 hdfs 的另乙個路徑

示例: hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2

功能:在 hdfs 目錄中移動檔案

示例: hadoop fs -mv /aaa/jdk.tar.gz /

示例:比如 hdfs 的目錄 /aaa/下有多個檔案:log.1, log.2,log.3,...

hadoop fs -getmerge /aaa/log.* ./log.sum

功能:刪除指定的檔案。只刪除非空目錄和檔案。-r 遞迴刪除。

示例:hadoop fs -rm -r /aaa/bbb/

功能:統計檔案系統的可用空間資訊

示例:hadoop fs -df -h /

功能:顯示目錄中所有檔案大小,當只指定乙個檔案時,顯示此檔案的大小。

示例:hadoop fs -du /user/hadoop/dir1

功能:改變乙個檔案的副本係數。-r 選項用於遞迴改變目錄下所有檔案的副本

係數。示例:hadoop fs -setrep -w 3 -r /user/hadoop/dir1

HDFS的基本操作

mkdir 在hdfs建立目錄 hdfs dfs mkdir data ls 檢視當前目錄 hdfs dfs ls ls r 檢視目錄與子目錄 put 上傳乙個檔案 hdfs dfs put data.txt data input movefromlocal 上傳乙個檔案,會刪除本地檔案 ctrl ...

HDFS的Shell基本操作

2.shell對hdfs進行操作 hdfs是hadoop的分布式檔案系統,提供海量資料的儲存。hdfs包括namenode和datanode。本身含有很多元資料資訊,儲存在fsimage檔案中 還含有file與block的對應關係。在執行的時候,這些資訊全部放在記憶體中。只有在執行的時候,才有的對映...

Hadoop 02 HDFS基本操作

hdfs是乙個檔案系統,用於儲存檔案,通過統一的命名空間 目錄樹來定位檔案,其次,它是分布式的,由很多伺服器聯合起來實現其功能,集群中的伺服器有各自的角色 重要特性如下 1 hdfs中的檔案在物理上是分塊儲存 block 塊的大小可以通過配置引數 dfs.blocksize 來規定,預設大小在had...