hdfs架構：namenode、datanode、secondary namenode；
datanode：提供真實的檔案資料儲存服務；
檔案塊（block）：檔案塊是最基本的儲存單位，在datanode中，檔案被分為檔案塊，預設為三個，hdfs預設乙個block大小是128m，通過dfs.block.size配置檔案可修改大小。hdfs跟普通檔案系統不相同，如果乙個檔案小於乙個資料塊大小，並不占用整個資料塊的儲存空間。
block分配機制：預設將乙個檔案分為三個檔案塊，第乙個傳送至離client最近的datanode上，第二個block傳送到另乙個機架（rack），以防止乙個機架斷電導致丟失，第三個block副本在本機架上隨機找乙個datanode存放。通過hdfs-site.xml中修改dfs.replication修改複本數。
hdfs包
hadoop-2.4.1/share/hadoop/hdfs/hadoop-hdfs-2.4.1.jar
hadoop-2.4.1/share/hadoop/hdfs/lib/*
commons包
hadoop-2.4.1/share/hadoop/common/hadoop-common-2.4.1.jar
hadoop-2.4.1/share/hadoop/common/*（重複會覆蓋）
Hadoop集群開啟後無法啟動datanode
檢視了網上的方法，大家的解決方法都是比較一致的，但是描述的不是很清楚，對我這種初學者有些不友好呀 解決方法 1.刪除集群中所有節點的hadoop解壓目錄下的data目錄以及logs目錄 刪除所有節點，我有三個節點，在scp 安全複製 之前，沒有把最初的節點的hadoop解壓目錄下的data目錄和lo...
解決Hadoop啟動時，沒有啟動datanode
hadoop在多次執行下列指令 hadoop namenode format sbin start dfs.sh經常會出現沒有啟動datanode的情況。執行命令 jps shell 命令 發現沒有datanode執行緒。現給出原因和解決方案 當我們使用hadoop namenode format格...
Hadoop學習筆記 Hadoop初識
序言 資訊化發展到當今，網際網路的資料量是不斷地增加，那麼如何很好的處理以及利用這些資料可能是未來的乙個發展方向，這也之所以產生了各種平台的雲計算。對於網際網路而言，大資料量可分為兩種 第 一 大訪問量請求 第 二 大資料量處理。大訪問量請求這個事應用端應該思考的問題，如何很好的處理大的訪問量，如何...