hdfs 檔案目錄如下
1建立目錄（bin目錄下）
hdfs dfs -mkdir -p /user/lin
2查詢檔案系統目錄
hdfs dfs -ls /
3將本地檔案上傳到檔案目錄
bin/hdfs dfs -put readme.txt /user/lin
4統計單詞
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /user/lin/ /user/kn
5不能經常格式化的原因
會導致datanode和namenode的clusterid不同
拷貝檔案
檢視幫助
hdfs dfs or hadoop fs
將本地檔案剪下到hdfs目錄中
修改所屬的組
從本地檔案拷貝到hdfs中
hadoop fs -copyfromlocal an.txt /usr/hadoop
從hdfs拷貝檔案到本地檔案中
hadoop fs -copytolocal /usr/hadoop/in/2019.txt /export/servers/hadoop/bin/test1
可用 -get 和 -put 替代
hdfs的不同目錄的拷貝
hadoop fs -cp /usr/hadoop/an.txt /usr/hadoop/in
hdfs刪除目錄
hadoop fs -rm -r /usr/
hdfs目錄所佔的記憶體
hadoop fs -du -h /user
檢視所有的hdfs的所佔的記憶體
修改檔案許可權
hadoop dfs -chmod -r 755 /tmp/
hdfs dfs -chmod -r 755 /tmp/
hadoop的HDFS檔案儲存
1 什麼是hdfs?hdfs適合做 儲存大檔案。上g t甚至p。一次寫入，多次讀取。並且每次作業都要讀取大部分的資料。搭建在普通商業機群上就可以了。雖然會經常宕機，但hdfs有良好的容錯機制。hdfs不適合做 實時資料獲取。如果有這個需求可以用hbase。很多小檔案。因為namenode要儲存hdf...
hadoop之HDFS的擴充
最近在vm中進行擴容之後考慮，openstack的容量新增，隨之想起hdfs的容量擴充的問題，從網上查詢資料之後，現總結如下 首先在伺服器上大都使用的linux的系統，實驗上大都採用的是centos開源的專案。在linux中新增硬碟時，需要考慮的是容量，但是隨著硬體資源的擴充套件現在磁碟的容量可鞥會...
Hadoop操作HDFS命令
hadoop操作hdfs命令如下所示 hadoop fs 檢視hadoop hdfs支援的所有命令 hadoop fs ls 列出目錄及檔案資訊 hadoop fs lsr 迴圈列出目錄 子目錄及檔案資訊 hadoop fs put test.txt user sunlightcs 將本地檔案系統的...