第三章 熟悉常用的HDFS操作

一、hadoop提供的shell命令完成相同任務：

在本地linux檔案系統的「/home/hadoop/」目錄下建立乙個檔案txt，裡面可以隨意輸入一些單詞.

cd ./home/hadoop

sudo mkdir hello.txt

在本地檢視檔案位置（ls）

cd hadoop

在本地顯示檔案內容

touch hello.txt 

cat hello.txt

使用命令把本地檔案系統中的「txt」上傳到hdfs中的當前使用者目錄的input目錄下。

./sbin/start-dfs.sh

./bin/hdfs dfs -mkdir -p /user/hadoop
./bin/hdfs dfs -mkdir input
./bin/hdfs dfs -put ./hello.txt input

檢視hdfs中的檔案(-ls)

./bin/hdfs dfs -ls /input

顯示hdfs中該的檔案內容

./bin/hdfs dfs -cat input/hello.txt

刪除本地的txt檔案並檢視目錄

./bin/hdfs dfs -rm -ls input/hello.txt

./bin/hdfs dfs -get input/test.txt ~/hello.txt

從hdfs中刪除txt並檢視目錄

./bin/hdfs dfs -rm -ls input/hello.txt

二、向hdfs中上傳任意文字檔案，如果指定的檔案在hdfs中已經存在，由使用者指定是追加到原有檔案末尾還是覆蓋原有的檔案；

if $(hdfs dfs -test -e hello.txt);

else $(hdfs dfs -copyfromlocal -f local.txt hello.txt);
fi

if $(hdfs dfs -test -e file:

then $(hdfs dfs -copytolocal hello.txt ./hello2.txt);
else $(hdfs dfs -copytolocal hello.txt ./hello.txt);
fi

將hdfs中指定檔案的內容輸出到終端中；

hdfs dfs -cat hello.txt

顯示hdfs中指定的檔案的讀寫許可權、大小、建立時間、路徑等資訊；

hdfs dfs -ls -h hello.txt

給定hdfs中某乙個目錄，輸出該目錄下的所有檔案的讀寫許可權、大小、建立時間、路徑等資訊，如果該檔案是目錄，則遞迴輸出該目錄下所有檔案相關資訊；

hdfs dfs -ls -r -h /user/hadoop

提供乙個hdfs內的檔案的路徑，對該檔案進行建立和刪除操作。如果檔案所在目錄不存在，則自動建立目錄；

if $(hdfs dfs -hello -d dir1/dir2);

then $(hdfs dfs -touchz dir1/dir2/filename);
else $(hdfs dfs -mkdir -p dir1/dir2 && hdfs dfs -touchz dir1/dir2/filename);
fi

提供乙個hdfs的目錄的路徑，對該目錄進行建立和刪除操作。建立目錄時，如果目錄檔案所在目錄不存在則自動建立相應目錄；刪除目錄時，由使用者指定當該目錄不為空時是否還刪除該目錄；

if $(hdfs dfs -hello -d dir1/dir2);

then $(hdfs dfs -touchz dir1/dir2/filename);
else $(hdfs dfs -mkdir -p dir1/dir2);
fiif$(hdfs dfs -rmdir dir1/dir2);
then $(hdfs dfs -rmdir dir1/dir2)
fi

向hdfs中指定的檔案追加內容，由使用者指定內容追加到原有檔案的開頭或結尾；

追加到檔案開頭：

（由於沒有直接的命令可以操作，方法之一是先移動到本地進行操作，再進行上傳覆蓋）：

hdfs dfs -get hello.txt

cat text.txt >>local.txt

hdfs dfs -copyfromlocal -f hello.txt hello.txt

刪除hdfs中指定的檔案；

hdfs dfs -rm hello.txt

刪除hdfs中指定的目錄，由使用者指定目錄中如果存在檔案時是否刪除目錄；

刪除目錄（如果目錄非空則會提示not empty，不執行刪除）：hdfs dfs -rmdir dir1/dir2

強制刪除目錄：hdfs dfs -rm -r dir1/dir2

在hdfs中，將檔案從源路徑移動到目的路徑。

hdfs dfs -mv hello.txt hello2.txt

第三章 熟悉常用HDFS操作

1.在本地linux檔案系統的 home hadoop 目錄下建立乙個檔案txt，裡面可以隨意輸入一些單詞.2.在本地檢視檔案位置 ls 3.在本地顯示檔案內容 cd usr local hadoop touch test1.txt cat test1.txt 4.使用命令把本地檔案系統中的 txt...

第三章 熟悉常用的HDFS操作

一 hadoop提供的shell命令完成相同任務 在本地linux檔案系統的 home hadoop 目錄下建立乙個檔案txt，裡面可以隨意輸入一些單詞.在本地檢視檔案位置 ls 在本地顯示檔案內容 使用命令把本地檔案系統中的 txt 上傳到hdfs中的當前使用者目錄的input目錄下。檢視hdfs...

第三章 熟悉常用的HDFS操作

程式設計實現以下指定功能，並利用hadoop提供的shell命令完成相同任務 在本地linux檔案系統的 home hadoop 目錄下建立乙個檔案txt，裡面可以隨意輸入一些單詞.在本地檢視檔案位置 ls 在本地顯示檔案內容 使用命令把本地檔案系統中的 txt 上傳到hdfs中的當前使用者目錄的i...