熟悉常用的HDFS操作

2022-06-04 23:03:12 字數 2222 閱讀 7480

一、hadoop提供的shell命令完成相同任務：

在本地linux檔案系統的「/home/hadoop/」目錄下建立乙個檔案txt，裡面可以隨意輸入一些單詞.

在本地檢視檔案位置（ls）

在本地顯示檔案內容

cd /home/hadoop/


touch test.txt 


cat temp.txt

4.使用命令把本地檔案系統中的「txt」上傳到hdfs中的當前使用者目錄的input目錄下。

5.檢視hdfs中的檔案(-ls)

cd /usr/local/hadoop


./bin/hdfs dfs -put /home/hadoop/test.txt input


./bin/hdfs dfs -ls input

6.顯示hdfs中該的檔案內容

7.刪除本地的txt檔案並檢視目錄

./bin/hdfs dfs -cat input/test.txt


rm -rf test.txt


ls

9.從hdfs中刪除txt並檢視目錄 

./bin/hdfs dfs -get input/text.txt /home/hadoop


./bin/hdfs dfs -rm -r input/text.txt


./bin/hdfs dfs -ls input

二、向hdfs中上傳任意文字檔案，如果指定的檔案在hdfs中已經存在，由使用者指定是追加到原有檔案末尾還是覆蓋原有的檔案；

if $(hdfs dfs -test -e test.txt);


else $(hdfs dfs -copyfromlocal -f local.txt test.txt);


fi

if $(hdfs dfs -test -e file:


then $(hdfs dfs -copytolocal hello.txt ./test2.txt);


else $(hdfs dfs -copytolocal hello.txt ./test.txt);


fi

將hdfs中指定檔案的內容輸出到終端中；

hadoop fs -cat /usr/local/hadoop/test.txt

顯示hdfs中指定的檔案的讀寫許可權、大小、建立時間、路徑等資訊；

hadoop fs -ls -h /usr/local/hadoop/test.txt

給定hdfs中某乙個目錄，輸出該目錄下的所有檔案的讀寫許可權、大小、建立時間、路徑等資訊，如果該檔案是目錄，則遞迴輸出該目錄下所有檔案相關資訊；

hadoop fs -ls -r -h /usr/local/hadoop

提供乙個hdfs內的檔案的路徑，對該檔案進行建立和刪除操作。如果檔案所在目錄不存在，則自動建立目錄；

if $(hadoop fs -test -d /usr/local/hadoop/test);


then $(hadoop fs -touchz /usr/local/hadoop/test/test1.txt); 


else $(hadoop fs -mkdir -p /usr/local/hadoop/test && hadoop fs -touchz /usr/local/hadoop/test/test1.txt);


fi

提供乙個hdfs的目錄的路徑，對該目錄進行建立和刪除操作。建立目錄時，如果目錄檔案所在目錄不存在則自動建立相應目錄；刪除目錄時，由使用者指定當該目錄不為空時是否還刪除該目錄；

hadoop fs -rmr /usr/local/hadoop/test

向hdfs中指定的檔案追加內容，由使用者指定內容追加到原有檔案的開頭或結尾；

刪除hdfs中指定的檔案；

hadoop fs -rm /usr/local/hadoop/test.txt

刪除hdfs中指定的目錄，由使用者指定目錄中如果存在檔案時是否刪除目錄；

hadoop fs -rmr /usr/local/hadoop

在hdfs中，將檔案從源路徑移動到目的路徑。

hadoop fs -mv /usr/local/hadoop/test.txt /usr/local/hadoop/hadoop_tmp/test.txt

熟悉常用的hdfs操作

程式設計實現以下指定功能，並利用hadoop提供的shell命令完成相同任務 在本地linux檔案系統的 home hadoop 目錄下建立乙個檔案txt，裡面可以隨意輸入一些單詞.cd home hadoop touch news.txt bin hdfs dfs mkdir p home had...

熟悉常用的HDFS操作

1.程式設計實現以下指定功能，並利用hadoop提供的shell命令完成相同任務 1.在本地linux檔案系統的 home hadoop 目錄下建立乙個檔案txt，裡面可以隨意輸入一些單詞.cd usr local hadoop touch test.txt 2.在本地檢視檔案位置 ls ls 3....

熟悉常用的HDFS操作

在本地linux檔案系統的 home hadoop 目錄下建立乙個檔案txt，裡面可以隨意輸入一些單詞.在本地檢視檔案位置 ls 在本地顯示檔案內容 cd usr local hadoop touch t.txt cat t.txt 使用命令把本地檔案系統中的 txt 上傳到hdfs中的當前使用者目...