首先，它是乙個檔案系統，用於儲存檔案，通過統一的命名空間——目錄樹來定位檔案
其次，它是分布式的，由很多伺服器聯合起來實現其功能，集群中的伺服器有各自的角色；
重要特性如下：
（1）hdfs中的檔案在物理上是分塊儲存（block），塊的大小可以通過配置引數( dfs.blocksize)來規定，預設大小在hadoop2.x版本中是128m，老版本中是64m
（2）hdfs檔案系統會給客戶端提供乙個統一的抽象目錄樹，客戶端通過路徑來訪問檔案，形如：hdfs://namenode:port/dir-a/dir-b/dir-c/file.data
（3）目錄結構及檔案分塊資訊(元資料)的管理由namenode節點承擔
——namenode是hdfs集群主節點，負責維護整個hdfs檔案系統的目錄樹，以及每乙個路徑（檔案）所對應的block塊資訊（block的id，及所在的datanode伺服器）
（4）檔案的各個block的儲存管理由datanode節點承擔
---- datanode是hdfs集群從節點，每乙個block都可以在多個datanode上儲存多個副本（副本數量也可以通過引數設定dfs.replication）
（5）hdfs是設計成適應一次寫入，多次讀出的場景，且不支援檔案的修改
(注：適合用來做資料分析，並不適合用來做網盤應用，因為，不便修改，延遲大，網路開銷大，成本太高)
hdfs提供shell命令列客戶端，使用方法如下：
功能：顯示檔案內容
示例：hadoop fs -cat /hello.txt
-tail
功能：顯示乙個檔案的末尾
示例：hadoop fs -tail /weblog/access_log.1
-text
功能：以字元形式列印乙個檔案的內容
示例：hadoop fs -text /weblog/access_log.1
-chgrp
-chmod
-chown
功能：linux檔案系統中的用法一樣，對檔案所屬許可權
示例：hadoop fs -chmod 666 /hello.txt
hadoop fs -chown someuser:somegrp /hello.txt
-copyfromlocal
功能：從本地檔案系統中拷貝檔案到hdfs路徑去
示例：hadoop fs -copyfromlocal ./jdk.tar.gz /aaa/
-copytolocal
功能：從hdfs拷貝到本地
示例：hadoop fs -copytolocal /aaa/jdk.tar.gz
-cp功能：從hdfs的乙個路徑拷貝hdfs的另乙個路徑
示例： hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2
-rm功能：刪除檔案或資料夾
示例：hadoop fs -rm -r /aaa/bbb/
-rmdir
功能：刪除空目錄
示例：hadoop fs -rmdir /aaa/bbb/ccc
-df功能：統計檔案系統的可用空間資訊
示例：hadoop fs -df -h /
-du功能：統計資料夾的大小資訊
示例：hadoop fs -du -s -h /aaa/*
-count
功能：統計乙個指定目錄下的檔案節點數量
示例：hadoop fs -count /aaa/
-setrep
功能：設定hdfs中檔案的副本數量
示例：hadoop fs -setrep 3 /aaa/jdk.tar.gz
《這裡設定的副本數只是記錄在namenode的元資料中，是否真的會有這麼多副本，還得看datanode的數量》
網路tcp基本概念與使用
socket 簡稱套接字 是程序間通訊的一種方式，它與其他程序間通訊的乙個主要不同是 它能實現不同主機間的程序間通訊，socket屬於全雙工。關於建立套接字的引數說明 socket.socket addressfamily,type address family 可以選擇 af inet 用於 in...
基本概念 C 基本概念
由於工作中需要用到c 編寫的一些工具，有時候需要根據需求修改或者定製工具，所以現在不得不學習一下c 的基礎語法，此為筆記，不成章法！機器語言 組合語言 高階語言 面向過程的程式設計方法 物件導向的程式設計方法 泛型程式設計方法 1 演算法設計 2 源程式編輯 3 編譯 4 連線 5 執行除錯 輸入裝...
Java NIO 一 NIO的基本概念與使用
public classtestbuffer 控制台輸出 allocate初始化大小 position 0 limit 1024 capacity 1024 allocate存入資料後的變化 position 11 limit 1024 capacity 1024 allocate切換為讀取模式的變...