首先敘述一下：
1.hadoop1.x的hdfs預設塊大小為64mb；hadoop2.x的預設塊大小為128mb。
如果進行資料塊的自定義需要修改hdfs-site.xml檔案，例如：
<
property
>
<
name
>
dfs.blocksize
name
>
<
value
>30
mvalue
>
property
>
<
property
>
<
name
>
dfs.namenode.fs-limits.min-block-size
name
>
<
value
>30
mvalue
>
property
>
此時表示hdfs每個資料的大小為30mb。
注意：在修改hdfs的資料塊大小時，首先停掉集群hadoop的執行程序，修改完畢後重新啟動。
Hadoop系列之HDFS 資料塊 12
要把大檔案儲存在 hdfs上，hdfs 會把大檔案分割成小塊，即我們通常說的資料塊 block 它是 hadoop 分布式檔案系統最小的儲存單元，而且我們沒辦法決定指定塊的儲存節點位址，這些 namenode 會替我們決定。資料塊預設大小是 128mb，比作業系統裡面的塊概念要大很多 作業系統塊大小...
hdfs合併塊 HADOOP知識梳理之HDFS
hdfs是乙個分布式檔案系統 管理服務 提供檔案的讀取服務 寫入服務 檢視目錄資訊服務 hdfs是一套分布式軟體系統，裡面有很多服務角色 namenode datanode secondary namenode 客戶端 檔案在hdfs中分塊儲存的，乙個檔案會被分成多個塊 按照128m分塊 每個塊 隨...
hadoop之HDFS 資料塊恢復與檔案上傳測試
當某台機器上的乙個datanode程序down掉，hdfs為了保證檔案的副本滿足設定的副本數，會進行資料塊的恢復操作。塊恢復操作主要受兩個引數影響 a dfs.namenode.replication.work.multiplier.per.iteration namenode計算集群每個週期每個d...