hdfs：hadoop distribute file system hadoop分布式檔案系統
1. 底層設計思想
2. hdfs設計目標
3. hdfs重要特性
首先，它是乙個檔案系統，用於儲存檔案，通過統一的命名空間目錄樹來定位檔案。
其次，它是分布式的，由很多伺服器聯合起來實現其功能，集群中的伺服器有各自的角色。
4. hdfs shell命令
格式：hadoop fs
至於操作的是什麼型別的檔案系統，取決於後續url的schema資訊。
hadoop fs -ls hdfs://node01:9000/ hdfs檔案系統
hadoop fs -ls file:/// 本地檔案系統
hadoop fs -ls gfs://node01:6688/ 谷歌檔案系統
hadoop fs -ls / 訪問預設的檔案系統，取決於環境的配置
(本人已在core-site.xml設定為hdfs，其原本預設為local)
命令格式
說明-ls
hadoop fs -ls [-r] [-h]
檢視指定路徑的當前目錄結構
-mkdir
hadoop fs -mkdir [-p]
建立空白資料夾
-put
hadoop fs -put [-f] [-p] [-| …]
從本地檔案系統上傳至目標檔案系統(-f 覆蓋，-p保留訪問和修改時間、所有權和時限)。客戶端在**，**的機器就是本地檔案系統。
-get
hadoop fs -get [-ignorecrc] [-crc] [-p] [-f]
追加乙個檔案內容到已經存在的檔案末尾。適合於小檔案合併
-cat
hadoop fs -cat [-ignorecrc] uri [uri…]
檢視檔案
-tail
hadoop fs -tail [-f] uri
檢視檔案的最後一千位元組內容。-f選項將在檔案增長時輸出附加資料
-chmod
hadoop fs -chmod [-r] uri
改變檔案的許可權
-cphadoop fs -cp uri uri
從hdfs的乙個路徑拷貝到hdfs的另乙個路徑
-mvhadoop fs -mv uri uri
在hdfs目錄中移動檔案
-rmhadoop fs -rm [-r] uri
刪除-getmerge
hadoop fs -getmerge uri uri
-dfhadoop fs -df [-h]
統計檔案系統的可用空間資訊
-duhadoop fs -du uri
顯示目錄中所有檔案大小，當只指定乙個檔案時，顯示此檔案的大小
-setrep
hadoop fs -setrep -w 副本數 [-r] uri
改變乙個檔案的副本係數。-r 選項用於遞迴改變目錄下所有檔案的副本係數
-chgrp
hadoop fs -chgrp [-r] group uri [uri …]
更改檔案組的關聯。使用者必須是檔案的所有者，否則是超級使用者
-chown
hadoop fs -chown [-r] uri uri
改變檔案的擁有者。使用-r 將使改變在目錄結構下遞迴進行
–copyfromlocal
hadoop fs -copyfromlocal uri
從本地檔案系統中拷貝檔案到 hdfs 路徑去
-copytolocal
hadoop fs -copytolocal uri
從 hdfs 拷貝到本地
注：① crc即迴圈冗餘校驗碼（cyclic redundancy check）：是資料通訊領域中最常用的一種查錯校驗碼
② 企業中乙個檔案儲存多少副本最好上傳之前決定 避免集群上修改造成集群效能的影響
示例：
hadoop fs -ls -r-h
hadoop fs -mkdir -p /input
hadoop fs -put file:///root/1.txt hdfs://node01:9000/input
hadoop fs -put 1.txt 2.txt /input （上傳當前目錄下的檔案）
hadoop fs -get hdfs://node01:9000/input/1.txt file:///root/
hadoop fs -cat /input/1.txt
hadoop fs -tail /input/1.txt
hadoop fs -chmod 777 /input/1.txt
hadoop fs -cp /hadoopinput/wordcount.txt /input/words.txt
hadoop fs -mv /input/words.txt /hadoopinput/
hadoop fs -rm -r /hadoopinput
hadoop fs -getmerge /input/*.txt ./***.txt
hadoop fs -getmerge /input/log.* ./log.sum
hadoop fs -df -h /
hadoop fs -du -h /input
hadoop fs -setrep -w 3 -r /input
hadoop fs -setrep -w 3 /input/1.txt
hadoop fs -chgrp othergroup /hadoop/hadoopfile
hadoop fs -chown someuser:somegrp /hadoop/hadoopfile
hadoop fs -copyfromlocal /root/1.txt /
hadoop fs -copytolocal /aaa/jdk.tar.gz
LQH入職第二天
1 從gitlib上拉下 命令 git clone https www.com.git 2 永久的配置go環境 使用 go env w 例如 go env w goprivate corp.example.com go env w go111module on 3 golang goproxy 設定...
上班第二天
本想坐晚一班車的，誰知道這晚一班的也只是晚了 五 六分鐘，不高興再在站台上等，也只好小跑到車門上去了，果然，八點十分就到了。白天那個困啊 今天的工作內容和昨天一樣，做到後來我實在覺得測的差不多了，想幹些其他的，但這初來乍到的，也不好幹其他的呀，況且領導辦公室就在我旁邊。今天的工作總結有兩點 1 別把...
第二天實習
今天我早早到了銀行，開始給大家抹桌子，算是向愛妃學習吧。之後向wqy學習做表的方法，他很耐心。今天一天也就是做了這麼乙個表，但是還向dh學習了另外一些業務的處理，收穫不小。中午吃了雞腿 肉串和芸豆，好開心啊。我越來越喜歡自己的實習了。今天好多自己班上的同學來面試實習生，希望她們都能上！今天我沒有去同...