HDFS 分布式檔案系統的常用HDFS操作

●.啟動hadoop

⑴.將本地的house.txt檔案上傳到hdfs的mydir目錄下

. /bin/hdfs dfs -put . /house.txt mydir

到本地

. /bin/hdfs dfs -get mydir/house.txt file:///usr/local/hadoop

⑶.將hdfs中指定檔案(loli.txt)內容輸入到終端

. /bin/hdfs dfs - cat loli.txt

⑷.輸出hdfs中指定檔案(loli.txt)的讀寫許可權、大小、建立時間、路徑等資訊

. /bin/hdfs dfs - ls-h loli.txt

⑸.建立目錄(dir1/dir2)

. /bin/hdfs dfs -mkdir -p dir1/dir2

⑹.在上面的目錄下建立檔案(dir1/dir2/myfile)

. /bin/hdfs dfs -touchz dir1/dir2/myfile

⑺.輸出hdfs中指定目錄(dir1/dir2)下的所有檔案的讀寫許可權、大小、建立時間、路徑等資訊

. /bin/hdfs dfs - ls-r -h dir1/dir2

⑻.刪除hdfs中的檔案(dir1/dir2/myfile)

./bin/hdfs dfs -rm dir1/dir2/myfile

⑼.刪除hdfs中的目錄(dir1/dir2)

./bin/hdfs dfs -rm dir1/dir2

⑽.強制刪除hdfs中的目錄(dir1/dir2)

./bin/hdfs dfs -rm -r dir1/dir2

⑾.hdfs中移動檔案(loli1.txt -> loli2.txt)

./bin/hdfs dfs -mv loli1.txt loli2.txt

❶.將本地的house.txt檔案上傳到hdfs

（hdfs中叫做loli.txt；若hdfs中已存在則追加，不存在則正常上傳）

if
$(./bin/hdfs dfs -test -e loli.txt)
;then
;else
$(./bin/hdfs dfs -copyfromlocal -f house.txt loli.txt)
;fi

if
$(./bin/hdfs dfs -test -e file:///usr/local/hadoop/house.txt)
;then
$(./bin/hdfs dfs -copytolocal loli.txt ./house2.txt)
;else
$(./bin/hdfs dfs -copytolocal loli.txt ./house.txt)
;fi

❸.給定乙個hdfs檔案的路徑(dir1/dir2)。若路徑存在則建立檔案(filename)，若路徑不存在則建立路徑後再建立檔案(filename)

if
$(./bin/hdfs dfs -test -d dir1/dir2)
;then
$(./bin/hdfs dfs -touchz dir1/dir2/filename)
;else
$(./bin/hdfs dfs -mkdir -p dir1/dir2 && ./bin/hdfs dfs -touchz dir1/dir2/filename)
;fi

如果比較熟悉linux命令，這就非常簡單。

分布式檔案系統 HDFS

hdfs源於google發表的乙份gfs hdfs是hadoop專案的核心子專案，是分布式計算中資料儲存管理的基礎，可以執行在廉價機器上，具有高容錯高可靠性高可擴充套件性高獲得性高吞吐率等特性，為超大資料集的應用處理帶來極大便利。1 hdfs的優點 1 高容錯性資料自動儲存多個版本，通過增...

分布式檔案系統HDFS

以 bin dfs dfs 開頭的shell命令方式 1 在hdfs中為hadoop使用者建立乙個使用者目錄 hadoop使用者 2 在使用者目錄下建立乙個input目錄 3 在hdfs的根目錄下建立乙個名稱為input的目錄 4 刪除hdfs根目錄中的 input 目錄在該檔案裡面可以隨意輸入一...

HDFS 分布式檔案系統的常用HDFS操作

分布式檔案系統 HDFS

分布式檔案系統HDFS

分布式檔案系統HDFS

相關推薦