hadoop的公共元件，主要是為其他核心元件提供支援
hadoop 分布式檔案系統， 為應用資料提供高可用的訪問。hdfs包括namenode和datanode兩個部分
namenode:存放與管理檔案系統的元資料，什麼是元資料，就是用於描述真正資料資訊的一些資料。
datanode:存放與管理檔案系統中真正的資料。
用於hadoop 集群的任務排程和資源管理的框架。包含：resourcemanage和nodemanage兩個部分
resourcemanage:負責集群的資源分配與排程，監控nodemanage
nodemanage:負責對單個節點進行資源管理和處理資源管理器的請求
大資料計算與處理框架：包含map和reduce兩個部分
map:接受一組資料並將其轉換為乙個鍵/值對列表，輸入域中的每個元素對應乙個鍵/值對
reduce:接受 map 函式生成的列表，然後根據它們的鍵（為每個鍵生成乙個鍵/值對）縮小鍵/值對列表。
hadoop學習筆記（二） HDFS
定義 hdfs hadoop distributed file system 它是乙個檔案系統，用於儲存檔案，通過目錄樹來定位檔案，它是分布式的，由很多伺服器聯合起來實現其功能。場景 適合一次寫入，多次讀出的場景，且不支援檔案的修改，適合用來做資料分析，不適合做網盤應用。優點 1.高容錯性 資料儲存...
Hadoop學習筆記 Hadoop初識
序言 資訊化發展到當今，網際網路的資料量是不斷地增加，那麼如何很好的處理以及利用這些資料可能是未來的乙個發展方向，這也之所以產生了各種平台的雲計算。對於網際網路而言，大資料量可分為兩種 第 一 大訪問量請求 第 二 大資料量處理。大訪問量請求這個事應用端應該思考的問題，如何很好的處理大的訪問量，如何...
Hadoop學習筆記
hadoop介紹 hadoop是google雲計算框架的開源實現，是乙個分布式儲存和分布式計算的框架，主要包括hdfs和mapreduce的實現。hdfs hdfs由乙個namenode和多個datanode組成，其中namenode相當於系統的元資料存放地，它是hadoop系統的神經中樞，而多個d...