hadoop 一 主要包含什麼內容

2021-10-24 04:55:51 字數 1666 閱讀 4048

hdfs集群:(hadoop distribute file system)分布式檔案系統,海量資料儲存解決方案負責海量資料的儲存集群中的角色主要有 namenode (主節點)/ datanode(資料節點)/secondarynamenode。

yarn集群:分布式資源排程平台和任務監控平台,負責海量資料運算時的資源排程,集群中的角色主要有 resourcemanager(資源管理程式) /nodemanager(節點管理器)

mapreduce:hadoop的分布式運算程式設計框架  它其實是乙個應用程式開發包。

dfs:(hadoop distribute file  system )分布式檔案系統,

執行在大量普通廉價機器上,提供容錯機制為大量使用者提供效能不錯的檔案訪問服務

是將資料進行窺快儲存在不同的機器中

hdfs是對資料進行分塊儲存,塊的大小可以通過配置引數( dfs.blocksize)來規定,預設大小在hadoop2.x版本中是128m,之前的版本中是64m。 這樣可以對所有節點分別進行資料讀取,減少延遲。

每乙個block會在多個datanode上儲存多份副本,副本的份數可以通過引數 dfs.replication 設定,預設是3份,一般夠用。 一般在集群中,硬體損壞是常態,所以要多準備幾個副本。

高容錯性,安全性

資料自動儲存多個副本,副本丟失後,自動恢復

適合批處理 移動計算而非資料 資料位置暴露給計算框架 適合大資料處理

可以儲存海量資料 一次性寫入,多次讀取

保證資料一致性

可構建在廉價機器上 通過多副本提高可靠性

提供了容錯和恢復機制    .......

namenode(管理者)管理檔案系統的命名空間。它維護著檔案系統樹及整棵樹內所有的檔案和目錄,這些資訊以兩個檔案形式永久儲存在本地磁碟上:命名空間映象檔案和編輯日誌檔案。namenode也記錄著每個檔案中各個塊所在的資料節點資訊,但它並不永久儲存塊的位置資訊,因為這些資訊在系統啟動時由資料節點重建。

用於記錄檔案儲存的元資料:物件(namenode將這些資料的元資料資訊記錄在記憶體中,並且將這些元資料資訊定期的序列化到本地磁碟上),記錄使用者操作的行為日誌 .記錄使用者儲存的檔案的大小、切分的塊數、每一塊的副本數和儲存在datanode上的位置

datanode節點是hdfs系統正在查處使用者資料的節點 儲存檔案內容,維護blockid到datanode的對映關係

儲存資料,將資料以物理切塊的形式儲存在本地指定的磁碟目錄中

處理客戶端的請求

接收namenode 分配的任務

接收namenode的指令完成容錯工作 , 副本的複製 移動

定期的向namenode心跳響應請求,預設每間隔3s一次

匯報自己儲存的資料資料1h

hdfs 集群啟動 如何啟動 , 第一次啟動的過程中做了什麼事情

刪除 hdp  重新安裝  

hdfs 的shell客戶端  

第一步,啟動namenode;

第二步,啟動datanode;

第三步,啟動secondary namenode。

UI主要學什麼內容?好就業嗎?

ui主要學什麼內容?好就業嗎?這可能是許多正在學習和準備學習ui設計的合作夥伴想要問的問題。一階段 深入學習ps ai和cdr軟體,從基礎階段建立審美高度 二階段 品牌知識體系學習,圍繞 審美 排版構圖 配色技巧 創意和成 物料延展 製作輸出 進行大量的操作演練,提公升設計實戰能力 三階段 學習網頁...

ptp輸出內容包含什麼 PTP 無線傳輸

部件資料 摩托羅拉點對點寬頻無線解決方案 摩托羅拉點對點網橋 ptp600 系列系統部件摩托 羅拉ptp600鏈路 的每一端 都由乙個 室外單元 odu 乙個稱為 pidu plus 的室內供電單元,以及必 要的安裝附件組成。這一高可靠的無線網橋系統中還內建 便於本地或遠端管理的 web伺服器。由於...

測試計畫的範圍 系統測試計畫主要包含的內容及作用

一 內容 測試計畫用來描述所要完成的測試,包括測試背景 測試目的 風險分析 所需資源 任務安排和進度 測試開始 掛起及結束的標準等。引言 目的 背景 範圍 定義 參考資料 測試內容 測試功能清單 測試規則 進入準則,暫停 退出準則 測試方法 測試手段 測試要點 測試工具 測試環境 硬體環境 軟體環境...