hdfs的理解以及shell命令

2021-08-19 08:19:43 字數 414 閱讀 7843

一、hdfs的實現思想:

1.hdfs是利用分布式集群來儲存檔案的,為客戶端提供乙個便捷的訪問方式,就是乙個虛擬的目錄結構。

2.檔案儲存的時候是被分割成若干的block塊的

3.檔案的bloc塊存放在若干臺datanode節點上的

4.hdfs檔案系統中的檔案與真實的block之間有對映關係。由namenode來管理

5.每乙個bolck在集群中會有多個副本,好處是可以提高資料的可靠性,提高併發能力

二、shell指令:

hdfs不支援修改,因為hdfs儲存檔案的時候會把檔案分塊兒,如果修改,還得知道修改的地方在哪一塊兒,還得知道塊兒在哪個datanode上,還得知道塊內的哪一行,比較麻煩,追加還好實現一點

HDFS 第2章HDFS的Shell操作

常用命令實操 0 啟動hadoop集群 sbin start dfs.sh sbin start yarn.sh 1 help 輸出這個命令引數 hadoop fs help rm 2 ls 顯示目錄資訊 hadoop fs ls 3 mkdir 在hdfs上建立目錄 hadoop fs mkdir...

HDFS中的shell操作

1.首先命令都是以hadoop fs 開頭 2.hadoop fs ls 檢視hdfs的根目錄下的內容,hadoop fs lsr 遞迴檢視根目錄下的內容 3.hadoop fs mkdir gao,在hdfs上建立資料夾gao 4.hadoop fs put 把資料從linux上傳到hdfs的特定...

HDFS的Shell基本操作

2.shell對hdfs進行操作 hdfs是hadoop的分布式檔案系統,提供海量資料的儲存。hdfs包括namenode和datanode。本身含有很多元資料資訊,儲存在fsimage檔案中 還含有file與block的對應關係。在執行的時候,這些資訊全部放在記憶體中。只有在執行的時候,才有的對映...