Hadoop讀書筆記（一）Hadoop介紹

適合大資料的分布式與計算平台。

hdfs:hadoop distributed file system 分布式檔案系統

mapreduce:平行計算框架

主從結構

主節點，只有乙個：namenode

從節點，有很多個：datanodes

namenode負責：

接收使用者操作請求

維護檔案系統的目錄結構

管理檔案與block之間關係，block與datanode之間關係

datanode負責：

儲存檔案

檔案被分成block儲存在磁碟上

為保證資料安全，檔案會有多個副本

主從結構

主節點，只有乙個：jobtracker

從節點，有很多個：tasktrackers

jobtracker負責：

接收客戶提交的計算任務

把任務分給tasktrackers

監控tasktracker的執**況

tasktrackers負責：

執行jobtrackers分配的計算任務

擴容能力（scalable）：能可靠的（reliably）儲存和處理千兆（pb）資料。

成本低（economical）：可以通過普通機器組成伺服器來分發以及處理資料。這些伺服器群總計可達數千個節點

高效率（efficient）：通過分發資料，hadoop可以再資料所在的節點上並行（parallel）處理它們，這使得處理的非常的快速。

可靠性（reliable）：hadoop能自動的維護資料的多份副本，並且在任務失敗後能自動的重新部署（redeploy）計算任務。

有用的自己收!

Hadoop讀書筆記（一）Hadoop介紹

適合大資料的分布式與計算平台。hdfs hadoop distributed file system 分布式檔案系統 mapreduce 平行計算框架 主從結構 主節點，只有乙個 namenode 從節點，有很多個 datanodes namenode負責 接收使用者操作請求 維護檔案系統的目錄結構...

讀書筆記 Hadoop權威指南 簡介

資料來自美國國家氣候資料中心 national climatic data center，簡稱ncdc 這些資料按行並以ascii格式儲存，其中一行是一條記錄。下面顯示了一行取樣資料，為了給讀者了解字段，拆分解釋。從1901年到2001年，每一年都有乙個目錄，每個目錄中包含各個氣象站該年氣象資料的打...

讀書筆記一

一物件導向 一 類 1 屬性 為物件儲存資料 公共屬性public 不帶關鍵字 預設public 私有屬性private 受保護屬性protected 訪問類shopproduct中的title屬性 mo del news hopp rodu ct title model title 2.方法 為物...