目錄
hdfs操作隨筆
一、hadoop的hdfs dfs命令 引數
作用示例
返回值將乙個或者多個本地
檔案追加到目的檔案
returns 0 on success and 1 on error
cat輸出檔案
hdfs dfs -cat file:///file3 /user/hadoop/file4
returns 0 on success and -1 on error
chgrp
改變檔案的分組
hdfs dfs -chgrp [-r] group uri [uri ...]
chmod
改變檔案的許可權
hdfs dfs -chmod [-r] uri [uri ...]
chown
改變檔案的擁有者
hdfs dfs -chown [-r] [owner][:[group]] uri [uri ]
copyfromlocal
從本地複製
copytolocal
複製到本地
count
得到檔案/目錄等數目
追加引數-q, -h有不同的意義
hdfs dfs -count -q hdfs:
returns 0 on success and -1 on error
cp複製，引數-f,-p
hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2
returns 0 on success and -1 on error
du得到指定檔案的大小
hdfs dfs -du /test/hadoop
returns 0 on success and -1 on error.
dus已摒棄，和du類似
expunge
清空**站
hdfs dfs -expunge
get複製檔案到本地路徑下
hdfs dfs -get /user/hadoop/file localfile
returns 0 on success and -1 on error
getfacl
顯示檔案或者目錄的
許可權控制列表
hdfs dfs -getfacl /file
hdfs dfs -getfacl -r /dir
returns 0 on success and non-zero on error
getfattr
顯示檔案或者目錄的擴充套件屬性
hdfs dfs -getfattr -d /file
returns 0 on success and non-zero on error
getmerge
合併多個檔案乙個目標檔案裡
hdfs dfs -getmerge [addnl]
ls和linux裡一樣
hdfs dfs -ls /user/hadoop/file1
returns 0 on success and -1 on error
lsr等同於ls -r
mkdir
建立目錄，-p建立多層目錄
hdfs dfs -mkdir /user/hadoop/dir1 /user/hadoop/dir2
returns 0 on success and -1 on error
movefromlocal
類似put，區別在於put完後刪除
原檔案movetolocal
目前沒有實現
mv移動檔案
hdfs dfs -mv /user/hadoop/file1 /user/hadoop/file2
returns 0 on success and -1 on error
put像目標目錄推送檔案
hdfs dfs -put localfile /user/hadoop/hadoopfile
returns 0 on success and -1 on error
rm刪除檔案
hdfs dfs -rm hdfs: /
user/hadoop/emptydir
returns 0 on success and -1 on error
rmr類似於rm -r
setfacl
設定檔案或者目錄的
許可權控制列表
hdfs dfs -setfacl -m user:hadoop:rw- /file
returns 0 on success and non-zero on error
setfattr
設定檔案或者目錄的擴充套件屬性
hdfs dfs -setfattr -n user.myattr -v myvalue /file
returns 0 on success and non-zero on error
setrep
改變檔案和目錄的複製因子
hdfs dfs -setrep -w 3 /user/hadoop/dir1
returns 0 on success and -1 on error
stat
返回路徑資訊
hdfs dfs -stat path
exit code: returns 0 on success
and -1 on error
tail
輸出檔案的最後1千位元組
hdfs dfs -tail pathname
returns 0 on success and -1 on error
test
檢查檔案
hdfs dfs -test -e filename
text
以文字方式輸出檔案
hdfs dfs -text
touchz
建立空檔案
hdfs dfs -touchz pathname
returns 0 on success and -1 on error
Hdfs常用操作
本文記錄一下hdfs的一些常用指令 如果我們想要上傳檔案到hdfs，可以執行如下指令 hadoop dfs put 本地檔案的路徑 hdfs的路徑例如 hadoop dfs put home spark hadoop datasource inte ce access log 20160829 da...
HDFS常用操作
命令格式 hdfs dfs mkdir 舉例 在hdfs上已有資料夾data下面簡歷乙個新的資料夾zuo hdfs dfs mkdir data zuo 命令格式 hdfs dfs ls 列出檔案路徑下的檔案 hdfs dfs ls a 列出檔案路徑下所有的檔案，包括隱藏檔案 hdfs dfs ls...
HDFS常用操作
hdfs dfs ls hdfs dfs put file file example hdfs dfs put test1 input test 把當前本地目錄下的test1檔案上傳到hdfs input目錄下，並命名為testhdfs dfs get file file or dir local ...