常用命令實操:
(0)啟動hadoop集群sbin/start-dfs.sh sbin/start-yarn.sh
(1)-help:輸出這個命令引數hadoop fs -help rm
(2)-ls: 顯示目錄資訊hadoop fs -ls /
(3)-mkdir:在hdfs上建立目錄hadoop fs -mkdir -p /sanguo/shuguo
(4)-movefromlocal:從本地剪下貼上到hdfstouch kongming.txt
hadoop fs -movefromlocal ./kongming.txt /sanguo/shuguo
touch liubei.txt
vi liubei.txt
輸入:san gu mao lu
(6)-cat:顯示hdfs檔案的內容hadoop fs -cat /sanguo/shuguo/kongming.txt
(7)-chgrp 、-chmod、-chown:linux檔案系統中的用法一樣,修改檔案所屬許可權hadoop fs -chmod 666 /sanguo/shuguo/kongming.txt
hadoop fs -chown atguigu:atguigu /sanguo/shuguo/kongming.txt
(8)-copyfromlocal:從本地檔案系統中拷貝檔案到hdfs路徑去hadoop fs -copyfromlocal readme.txt /
(9)-copytolocal:從hdfs拷貝到本地hadoop fs -copytolocal /sanguo/shuguo/kongming.txt ./
(10)-cp :從hdfs的乙個路徑拷貝到hdfs的另乙個路徑hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt
(11)-mv:在hdfs目錄中移動檔案hadoop fs -mv /zhuge.txt /sanguo/shuguo/
hadoop fs -get /sanguo/shuguo/kongming.txt ./
hadoop fs -getmerge /user/atguigu/test/* ./zaiyiqi.txt
(14)-put:等同於copyfromlocalhadoop fs -put ./zaiyiqi.txt /user/atguigu/test/
(15)-tail:顯示乙個檔案的末尾hadoop fs -tail /sanguo/shuguo/kongming.txt
(16)-rm:刪除檔案或資料夾hadoop fs -rm /user/atguigu/test/jinlian2.txt
(17)-rmdir:刪除空目錄hadoop fs -mkdir /test
hadoop fs -rmdir /test
(18)-du統計資料夾的大小資訊hadoop fs -du -s -h /user/atguigu/test
2.7 k /user/atguigu/test
hadoop fs -du -h /user/atguigu/test
1.3 k /user/atguigu/test/readme.txt
15 /user/atguigu/test/jinlian.txt
1.4 k /user/atguigu/test/zaiyiqi.txt
(19)-setrep:設定hdfs中檔案的副本數量hadoop fs -setrep 10 /sanguo/shuguo/kongming.txt
Hadoop筆記六之Hdfs的基本shell操作
使用hfds dfs 和hadoop fs來操作檔案這兩者一樣,命令格式為hadoop fs ls dfhs shb01 9000 也可以使用hadoop fs ls 表示當前根目錄和dfhs shb01 9000 一樣。hdfs是hadoop本身的協議,hdfs本身沒有許可權它借用的是linux許...
Hdfs 原始碼解析(2)
namenode啟動 namenode持久化了檔案和塊之間的對應關係,也就是在namenode資料目錄下的current fsimage目錄,namenode啟動的時候,會將這個檔案載入到記憶體裡。塊和機器的對應關係,namenode並不持久化,也就是說,namenode在啟動的時候,並不知道檔案塊...
HDFS儲存的機制之HDFS讀寫流程
7步 1.hdfs提供的客戶端client,向遠端的namenode發起rpc請求。2.namenode會檢查要建立的檔案是否已經存在,建立者是否有許可權進行操作。成功則會檔案建立乙個記錄,否則會讓客戶端丟擲異常。3.a 當客戶端client開始寫入檔案的時候,客戶端會將檔案切分成多個packets...