Hadoop 檔案操作常用的命令

2021-08-17 00:18:05 字數 1527 閱讀 3285

hdfs fsck / -files -blocks  列出檔案系統中各個檔案由哪些塊組成

hadoop fs -ls .             列出hdfs檔案的所有檔案,不遞迴目錄

hadoop  fs -lsr /

hadoop  fs -ls -r /  (規範寫法)  遞迴檢視指定目錄下的所有內容

hadoop  fs -cp /dir01/1.txt  /dir02 

將hdfs上 / dir01下的1.txt拷貝乙份到 / dir02目錄下。

目標路徑可以有多個,用空格隔開,比如:

hadoopfs -cp /dir01/1.txt  / dir02  / dir03……

hadoop fs -copyfromlocal maxtemperature.jar \hdfs://localhost/user/root/all/

從本地檔案系統將乙個檔案複製到hdfs

hadoopfs -copytolocal all/maxtemperature.jar maxtemperature_hdfs.jar

從hdfs將檔案複製回本地資料夾

hadoopdistcp file1(dir1) file2(dir2)          複製檔案或者目錄

hadoopdistcp -update -delete -p dir1 dir2      

僅更新變化或沒有的檔案,-p是保留許可權  

hadoop  fs -put /usr/1.txt  /dir            

將linux作業系統usr目錄下的1.txt放在hdfs的dir目錄下

hadoop  fs -get /dir/dir  /home          

hadoop fs -rm /dir/filename  刪除hdfs 的dir目錄的指定檔案

hadoop fs -rmdir /dir        刪除dir目錄,但是前提目錄裡沒有檔案

hadoop fs -rm -r /dir        刪除dir目錄,即使目錄裡有檔案

hadoop fs -cat /dir /a.txt     檢視dir目錄下的a.txt檔案

hadoop fs -tail /dir/a.txt      檢視dir目錄下a.txt檔案末尾(1kb)的資料

hadoop  fs  –mv  /dir02  /dir01   將hdfs上的dir02目錄重新命名為dir01

hadoop  fs -mv /dir02/1.txt /dir01  將dir02目錄下的1.txt移動到/dir01目錄下

hadoop fs -touchz /dir/2.txt   建立乙個空檔案

hadoop fs -mkdir dirname     在hdfs 的根目錄下,建立  dirname目錄

hadoop fsck /dir     顯示/dir目錄的健康狀況

hadoop fsck /dir/1.txt  -files -blocks -locations  -racks

檢視1.txt 這個檔案block資訊以及機架資訊

hadoop常用操作命令

1 檢視指定目錄下內容 hadoop dfs ls 檔案目錄 eg hadoop dfs ls user wangkai.pt 2 開啟某個已存在檔案 hadoop dfs cat file path eg hadoop dfs cat user wangkai.pt data.txt 3 將本地檔...

hadoop常用操作命令

1.列出根目錄下所有的目錄或檔案 hadoop dfs ls 2.列出 user目錄下的所有目錄和檔案 hadoop dfs ls user 3.列出 user目錄及其子目錄下的所有檔案 謹慎使用 hadoop dfs ls r user 4.建立 soft目錄 hadoop dfs mkdir s...

Hadoop之HDFS常用檔案操作命令

hadoop fs cmd args hadoop fs ls dir hadoop fs ls r dir 列出hdfs檔案系統所有的目錄和檔案hadoop fs put hdfs file的父目錄一定要存在,否則命令不會執行 hadoop fs put hdfs dir 一定要存在,否則命令不會...