hadoop三大發行版本：apache、cloudera、hortonworks。
apache版本最原始（最基礎）的版本，對於入門學習最好。
cloudera內部整合了很多大資料框架。對應產品cdh。
hortonworks文件較好。對應產品hdp。
在hadoop1.x時代,hadoop 的mapreduce同時處理業務邏輯運算和資源的排程,耦合性較大,在hadoop2.x時代,增加了yarn。
yarn只負責資源的排程,mapreduce只負責運算。
hadoop基礎框架介紹
以下是官方對hadoop的解釋 the apache hadoop project develops open source software for reliable,scalable,distributed computing。hadoop核心模組 hadoop common the commo...
hadoop框架平台
狹義上說hadoop就是乙個框架平台，廣義上講hadoop代表大資料的乙個技術生態 圈，包括很多其他軟體框架 1 hdfs重要概念 namenode 儲存檔案的元資料，比如檔名，檔案目錄結構，檔案屬性，以及每個檔案的塊列表和塊所在的datanode。secondarynamenode 監控hdfs狀...
Hadoop排程框架
大資料協作框架是乙個桐城，就是hadoop2生態系統中幾個輔助的hadoop2.x框架。主要如下 hadoop排程框架 quartz排程框架，但是多個作業時，缺點就出來了。linux crotab 是針對每個使用者而言。crontab e 就是加任務 規則如下 cmd 前面的五個 分別是表示設定的時...