hadoop要解決的兩個問題：
1.海量資料的儲存---hdfs
2.海量資料的分析-----mapreduce
hdfs設計目標：
1.very large files
2.streaming data access
write-one,read-many-times
3.commodity hardware
hdfs架構：
block：乙個檔案分塊，預設64m
namenode：儲存整個檔案系統的目錄資訊，檔案資訊以及檔案相應的分塊資訊。
datanode：用於儲存blocks。
hdfs的ha策略：namenode一旦當機，整個檔案系統將無法工作。如果namenode中的資料丟失，整個檔案系統也就丟失了。
2.x開始，hdfs支援namenode的active-standy模式。
hadoop學習筆記之一 初識hadoop
引言 最近了解到 使用hadoop的專案多了起來，hadoop對於許多測試人員來說或許是個新鮮玩兒，因此，把自己之前整理的學習筆記整理發上來，希望通過此系列文章快速了解hadoop的基本概念和架構原理，從而助於hadoop相關專案的測試理解和溝通。hadoop簡介 hadoop 是乙個實現了 map...
Hadoop 學習總結之一 HDFS簡介
資料節點是檔案系統中真正儲存資料的地方。從元資料節點 secondary namenode 1.2.1 元資料節點資料夾結構 1.2.2 檔案系統命名空間映像檔案及修改日誌 1.2.3 從元資料節點的目錄結構 1.2.4 資料節點的目錄結構 當客戶端結束寫入資料，則呼叫stream的close函式。...
Hadoop 學習總結之一 HDFS簡介
資料節點是檔案系統中真正儲存資料的地方。從元資料節點 secondary namenode 1.2.1 元資料節點資料夾結構 1.2.2 檔案系統命名空間映像檔案及修改日誌 1.2.3 從元資料節點的目錄結構 1.2.4 資料節點的目錄結構 當客戶端結束寫入資料，則呼叫stream的close函式。...