熟悉常用的HDFS操作

2022-06-01 17:48:12 字數 2032 閱讀 5798

程式設計實現以下指定功能,並利用hadoop提供的shell命令完成相同任務:

在本地linux檔案系統的「/home/hadoop/」目錄下建立乙個檔案txt,裡面可以隨意輸入一些單詞.

在本地檢視檔案位置(ls)

在本地顯示檔案內容

cd /usr/local/hadoop

touch linux.txt

cat linux.txt

使用命令把本地檔案系統中的「txt」上傳到hdfs中的當前使用者目錄的input目錄下。

./sbin/start-dfs.sh

./bin/hdfs dfs -mkdir -p /user/hadoop

./bin/hdfs dfs -mkdir input

./bin/hdfs dfs -put ./linux.txt input

檢視hdfs中的檔案(-ls)

./bin/hdfs dfs -ls    

./bin/hdfs dfs -ls input

顯示hdfs中該的檔案內容

./bin/hdfs dfs -cat input/linux.txt
刪除本地的txt檔案並檢視目錄

./bin/hdfs dfs -rm -ls input/linux.txt

./bin/hdfs dfs -get input/test.txt ~/linux.txt

if $(hdfs dfs -test -e text.txt);

else $(hdfs dfs -copyfromlocal -flocal.txt text.txt);

fi

if $(hdfs dfs -test -e file:///usr/hadoop/text.txt);

then $(hdfs dfs -copytolocal text.txt ./text2.txt);

else $(hdfs dfs -copytolocal text.txt ./text.txt);

fi

hdfs dfs -cat text.txt

hdfs dfs -ls -h text.txt

hdfs dfs -ls -r -h /user/hadoop

if $(hdfs dfs -test -d dir1/dir2);

then $(hdfs dfs -touchz dir1/dir2/filename);

else $(hdfs dfs -mkdir -p dir1/dir2 && hdfs dfs -touchz dir1/dir2/filename);

fi刪除檔案:hdfs dfs -rm dir1/dir2/filename

建立目錄:hdfs dfs -mkdir -p dir1/dir2

刪除目錄(如果目錄非空則會提示not empty,不執行刪除):hdfs dfs -rmdir dir1/dir2

強制刪除目錄:hdfs dfs -rm -r dir1/dir2

追加到檔案開頭:

(由於沒有直接的命令可以操作,方法之一是先移動到本地進行操作,再進行上傳覆蓋):

hdfs dfs -get text.txt

cat text.txt >>local.txt

hdfs dfs -copyfromlocal -f text.txt text.txt

hdfs dfs -rm text.txt

刪除目錄(如果目錄非空則會提示not empty,不執行刪除):hdfs dfs -rmdir dir1/dir2

強制刪除目錄:hdfs dfs -rm -r dir1/dir2

hdfs dfs -mv text.txt text2.txt

熟悉常用的hdfs操作

程式設計實現以下指定功能,並利用hadoop提供的shell命令完成相同任務 在本地linux檔案系統的 home hadoop 目錄下建立乙個檔案txt,裡面可以隨意輸入一些單詞.cd home hadoop touch news.txt bin hdfs dfs mkdir p home had...

熟悉常用的HDFS操作

1.程式設計實現以下指定功能,並利用hadoop提供的shell命令完成相同任務 1.在本地linux檔案系統的 home hadoop 目錄下建立乙個檔案txt,裡面可以隨意輸入一些單詞.cd usr local hadoop touch test.txt 2.在本地檢視檔案位置 ls ls 3....

熟悉常用的HDFS操作

在本地linux檔案系統的 home hadoop 目錄下建立乙個檔案txt,裡面可以隨意輸入一些單詞.在本地檢視檔案位置 ls 在本地顯示檔案內容 cd usr local hadoop touch t.txt cat t.txt 使用命令把本地檔案系統中的 txt 上傳到hdfs中的當前使用者目...