檢視HDFS檔案系統資料的三種方法

1、使用外掛程式——hadoop-eclipse-plugin

此方法需要借助eclipse，外掛程式的安裝及使用請參考博文

使用eclipse編譯執行mapreduce程式_hadoop2.6.0_ubuntu/centos。

2、hdfs web介面

hdfs web介面上只能檢視檔案系統資料。**：

介面如下：

3、 shell命令

這個方法是最基本的，能進行所有檔案操作。

hadoop fs 

-ls 
/user/hadoop/output 
#檢視指定目錄下的檔案和資料夾。/user/hadoop/output是hdfs上的目錄，不是本地目錄
hadoop fs 
-cat  
/user/hadoop/output 
#檢視檔案內容

博主的使用者名稱是dblab，相應的hdfs上的目錄變為/user/dblab/output。介面截圖如下：

檔案系統的檢視工具

先建立乙個1mb的檔案並清零 dd if dev zero of fs count 256 bs 4k 我們知道cp命令可以把乙個檔案拷貝成另乙個檔案,而dd命令可以把乙個檔案的一部分拷貝成另一 個檔案。這個命令的作用是把 dev zero 檔案開頭的1m 256 4k 位元組拷貝成檔名為fs的文 ...

HDFS 分布式檔案系統的常用HDFS操作

啟動hadoop 將本地的house.txt檔案上傳到hdfs的mydir目錄下 bin hdfs dfs put house.txt mydir 到本地 bin hdfs dfs get mydir house.txt file usr local hadoop 將hdfs中指定檔案 loli.t...

Hadoop大資料分布式檔案系統hdfs的工作機制

hdfs集群分為兩大角色 namenode datanode namenode負責管理整個檔案系統的元資料 datanode 負責管理使用者的檔案資料塊 namenode工作機制 d checkpoint操作的觸發條件配置引數 dfs.namenode.checkpoint.check.period...