hdfs客戶端操作

2021-09-23 22:43:57 字數 2878 閱讀 5838

hdfs的客戶端有多種形式：

網頁形式

命令列形式

客戶端在**執行，沒有約束，只要執行客戶端的機器能夠跟hdfs集群聯網

檔案的切塊大小和儲存的副本數量，都是由客戶端決定！

所謂的由客戶端決定，是通過配置引數來定的

hdfs的客戶端會讀以下兩個引數，來決定切塊大小、副本數量：

切塊大小的引數： dfs.blocksize

副本數量的引數： dfs.replication

上面兩個引數應該配置在客戶端機器的hadoop目錄中的hdfs-site.xml中配置

dfs.blocksize


64mdfs.replication


2

1、檢視hdfs中的目錄資訊

hadoop fs -ls /hdfs路徑
2、上傳檔案到hdfs中

hadoop fs -put /本地檔案  /aaa


##  copyfromlocal等價於 put


hadoop fs -copyfromlocal /本地檔案  /hdfs路徑   


## 跟copyfromlocal的區別是：從本地移動到hdfs中


hadoop fs -movefromlocal /本地檔案  /hdfs路徑

hadoop fs -get /hdfs中的路徑   /本地磁碟目錄


## 跟get等價


hadoop fs -copytolocal /hdfs中的路徑 /本地磁碟路徑   


## 從hdfs中移動到本地


hadoop fs -movetolocal /hdfs路徑  /本地路徑
4、在hdfs中建立資料夾

hadoop fs -mkdir  -p /aaa/***
5、移動hdfs中的檔案（更名）

hadoop fs -mv /hdfs的路徑  /hdfs的另乙個路徑
6、刪除hdfs中的檔案或資料夾

hadoop fs -rm -r /aaa
7、修改檔案的許可權

hadoop fs -chown user:group /aaa


hadoop fs -chmod 700 /aaa
8、追加內容到已存在的檔案

9、顯示文字檔案的內容

hadoop fs -cat /hdfs中的檔案


hadoop fs -tail /hdfs中的檔案
補充：hdfs命令列客戶端的所有命令列表

usage: hadoop fs [generic options]


[-cat [-ignorecrc] ...]


[-checksum ...]


[-chgrp [-r] group path...]


[-chmod [-r] path...]


[-chown [-r] [owner][:[group]] path...]


[-copyfromlocal [-f] [-p] [-l] [-d] ... ]


[-copytolocal [-f] [-p] [-ignorecrc] [-crc] ... ]


[-count [-q] [-h] [-v] [-t ] [-u] [-x] ...]


[-cp [-f] [-p | -p[topax]] [-d] ... ]


[-createsnapshot ]


[-deletesnapshot ]


[-df [-h] [...]]


[-du [-s] [-h] [-x] ...]


[-expunge]


[-find ... ...]


[-get [-f] [-p] [-ignorecrc] [-crc] ... ]


[-getfacl [-r] ]


[-getfattr [-r]  [-e en] ]


[-getmerge [-nl] [-skip-empty-file] ]


[-help [cmd ...]]


[-ls [-c] [-d] [-h] [-q] [-r] [-t] [-s] [-r] [-u] [...]]


[-mkdir [-p] ...]


[-movefromlocal ... ]


[-movetolocal ]


[-mv ... ]


[-put [-f] [-p] [-l] [-d] ... ]


[-renamesnapshot ]


[-rm [-f] [-r|-r] [-skiptrash] [-safely] ...]


[-rmdir [--ignore-fail-on-non-empty] ...]


[-setfacl [-r] [  ]|[--set ]]


[-setfattr  ]


[-setrep [-r] [-w] ...]


[-stat [format] ...]


[-tail [-f] ]


[-test -[defsz] ]


[-text [-ignorecrc] ...]


[-touchz ...]


[-truncate [-w] ...]


[-usage [cmd ...]]

hdfs客戶端操作

這裡hdfs客戶端指的是eclipse 一 獲取hadoop安裝包解壓後進入share資料夾裡面的所有jar包 二 這裡如果你客戶端 eclipse所在機器 是win7，需要編譯hadoop原始碼來適應你的機器。三 配置hadoop home環境變數和path 四 拷貝win7電腦上的檔案到虛擬機器...

HDFS 客戶端入門 API

public class doitutils public class uploaddemo public class downdemo public class rename else 改名後的檔案 path path new path b.txt 將檔案移動到指定資料夾下 path path2 ...

HDFS客戶端搭建與Java API操作HDFS

為什麼不建議使用集群內操作？如果每一次上傳檔案都是選擇某一台dn作為客戶端，就會導致這個節點上的磁碟以及網路i0負載超過其他的節點，久而久之這個節點的磁碟以及網絡卡效能遠遠低於其他節點，從而會導致資料的傾斜問題。配置集群客戶端的步驟 1 找一台新的伺服器，這台伺服器必須能夠與集群通訊 2 將配置好的...