2.shell對hdfs進行操作
hdfs是hadoop的分布式檔案系統，提供海量資料的儲存。
hdfs包括namenode和datanode。
本身含有很多元資料資訊，儲存在fsimage檔案中；還含有file與block的對應關係。
在執行的時候，這些資訊全部放在記憶體中。
只有在執行的時候，才有的對映關係——block與datanode的對映關係，不存硬碟。
block是hdfs進行資料儲存的基本單位，預設64mb。
並不意味著檔案一定是64mb，如果檔案小於64mb，那麼該block占用實際大小的硬碟空間。
假設有1個100mb和1個20mb檔案，那麼產生3個block，大小分別是64mb、36mb、20mb。
replication是hdfs為了資料安全而做的資料冗餘備份，預設是3份。備份的單位是按照block進行備份。
對hdfs操作的命令格式是hadoop fs或hdfs dfs。命令格式為hadoop fs -ls hdfs://cyyun:9000/，也可以使用hadoop fs -ls /，/表示hdfs根目錄，是hdfs://cyyun:9000/的簡寫。
hadoop fs -ls /顯示根目錄下資訊
-ls -d列出目錄
-ls –h顯示更易讀的大小
-ls –r遞迴檢視
hadoop fs -mkdir /test建立乙個test目錄
-mkdir -p遞迴建立
hadoop fs -put /root/documents/text1.txt /將linux目錄下的text1.txt檔案上傳到hdfs根目錄下
-put -p可選，保留原檔案的一些特性
-put -f可選，直接覆蓋
hadoop fs -text /text1.txt
hadoop fs -get /text1.txt /root
-rm -r遞迴刪除
hadoop fs -rm -r /test
-代表命令列輸入以ctrl+c結束
hadoop fs -cp /input/test1.txt /count
hadoop fs /input/test1.txt /input/test2.txt重新命名
hadoop fs -cat /text1.txt
hadoop fs -setrep 3 /input/test1.txt修改副本數為3個
-setrep -w表示等待操作執行完畢才退出
-setrep -r如果是目錄，那麼會遞迴設定該目錄下的所有檔案的副本數
hadoop fs -help ls檢視ls的一些操作資訊
HDFS的基本操作
mkdir 在hdfs建立目錄 hdfs dfs mkdir data ls 檢視當前目錄 hdfs dfs ls ls r 檢視目錄與子目錄 put 上傳乙個檔案 hdfs dfs put data.txt data input movefromlocal 上傳乙個檔案，會刪除本地檔案 ctrl ...
HDFS基本操作
使用方法 hadoop fs ls h r 功能 顯示檔案 目錄資訊。示例 hadoop fs ls user hadoop file1 使用方法 hadoop fs mkdir p 功能 在 hdfs 上建立目錄，p 表示會建立路徑中的各級父目錄。示例 hadoop fs mkdir p user...
HDFS中的shell操作
1.首先命令都是以hadoop fs 開頭 2.hadoop fs ls 檢視hdfs的根目錄下的內容，hadoop fs lsr 遞迴檢視根目錄下的內容 3.hadoop fs mkdir gao,在hdfs上建立資料夾gao 4.hadoop fs put 把資料從linux上傳到hdfs的特定...