總算有空來接著寫大資料的學習筆記了，今天就把之前學過的hdfs的基礎知識詳細的介紹一下，如有哪點寫的不足希望大家多多指教。
1.1、前言：
設計思想
分而治之：將大檔案、大批量檔案，分布式存放在大量伺服器上，以便於採取分而治之的方式對海量資料進行運算分析。
在大資料系統中作用：
為各類分布式運算框架（如：mapreduce，spark，tez，……）提供資料儲存服務。
重點概念：檔案切塊，副本存放，元資料。
1.2、 hdfs的概念和特性：
首先，它是乙個檔案系統，用於儲存檔案，通過統一的命名空間——目錄樹來定位檔案；
其次，它是分布式的，由很多伺服器聯合起來實現其功能，集群中的伺服器有各自的角色；
重要特性如下：
（1）hdfs中的檔案在物理上是分塊儲存（block），塊的大小可以通過配置引數( dfs.blocksize)來規定，預設大小在hadoop2.x版本中是128m，老版本中是64m
（2）hdfs檔案系統會給客戶端提供乙個統一的抽象目錄樹，客戶端通過路徑來訪問檔案，形如：hdfs://namenode:port/dir-a/dir-b/dir-c/file.data
（3）目錄結構及檔案分塊資訊(元資料)的管理由namenode節點承擔
——namenode是hdfs集群主節點，負責維護整個hdfs檔案系統的目錄樹，以及每乙個路徑（檔案）所對應的block塊資訊（block的id，及所在的datanode伺服器）
（4）檔案的各個block的儲存管理由datanode節點承擔
—- datanode是hdfs集群從節點，每乙個block都可以在多個datanode上儲存多個副本（副本數量也可以通過引數設定dfs.replication）
（5）hdfs是設計成適應一次寫入，多次讀出的場景，且不支援檔案的修改
(注：適合用來做資料分析，並不適合用來做網盤應用，因為，不便修改，延遲大，網路開銷大，成本太高)
2.1、hdfs的shell(命令列客戶端)操作
hdfs提供shell命令列客戶端，使用方法如下：
2.2 常用命令引數介紹
對於hdfs來講，如果想達到博主一樣的菜鳥級別的水平，必須得知道以下的幾個知識點：
首先知道hdfs是什麼；其次知道三個主要概念即檔案切塊、副本存放、元資料；然後要知道hdfs中對應的角色即namenode、datanode的工作機制和職責以及hdfs讀寫資料的原理；最後要掌握常用的hdfs-shell命令列。個人感覺如果知道以上的一些知識點，hdfs應該算是入門了吧。
接下來將介紹下hdfs的客戶端應用開發等。（
詳見：
HDFS的基本操作
mkdir 在hdfs建立目錄 hdfs dfs mkdir data ls 檢視當前目錄 hdfs dfs ls ls r 檢視目錄與子目錄 put 上傳乙個檔案 hdfs dfs put data.txt data input movefromlocal 上傳乙個檔案，會刪除本地檔案 ctrl ...
HDFS的Shell基本操作
2.shell對hdfs進行操作 hdfs是hadoop的分布式檔案系統，提供海量資料的儲存。hdfs包括namenode和datanode。本身含有很多元資料資訊，儲存在fsimage檔案中 還含有file與block的對應關係。在執行的時候，這些資訊全部放在記憶體中。只有在執行的時候，才有的對映...
HDFS的常用Shell操作
0 啟動hadoop集群 sbin start dfs.sh sbin start yarn.sh 1 help 輸出這個命令引數 hadoop fs help rm 2 ls 顯示目錄資訊 hadoop fs ls 3 mkdir 在hdfs上建立目錄 hadoop fs mkdir p sang...