在工作中最常用的就是使用hdfs提供的命令:
使用hadoop fs -help 就能顯示出所有的命令,並將其引數和用途顯示出來。
hadoop命令可以直接當做是shell命令,其結果也可以使用shell命令進行操作,比如使用awk進行一些簡單的統計。
將hadoop fs -help的結果顯示出來的所有命令熟悉以後,基本上日常的一些基本操作都能滿足。
需要注意的是hadoop的fs,dfs,和 hdfs dfs 這三者的區別。
hadoop fs:使用面最廣,可以操作任何檔案系統。
hadoop dfs與
Hadoop之HDFS常用檔案操作命令
hadoop fs cmd args hadoop fs ls dir hadoop fs ls r dir 列出hdfs檔案系統所有的目錄和檔案hadoop fs put hdfs file的父目錄一定要存在,否則命令不會執行 hadoop fs put hdfs dir 一定要存在,否則命令不會...
hadoop的HDFS檔案儲存
1 什麼是hdfs?hdfs適合做 儲存大檔案。上g t甚至p。一次寫入,多次讀取。並且每次作業都要讀取大部分的資料。搭建在普通商業機群上就可以了。雖然會經常宕機,但hdfs有良好的容錯機制。hdfs不適合做 實時資料獲取。如果有這個需求可以用hbase。很多小檔案。因為namenode要儲存hdf...
Hadoop 檔案系統(HDFS)
磁碟傳輸速率100m s,定址時間10ms,讓定址時間是傳輸時間的1 所以塊的大小為 100 0.01s 100m s 100m 128m 在 hdfs default.xml 中搜尋dfs.blocksize,可以修改大小 檔案上傳 檢查檔案block的狀態 由上可見,狀態是健康的 啟動所有資料節...