Hadoop相關知識點

2021-09-26 06:41:17 字數 390 閱讀 3866

乙個分布式計算平台,以hadoop分布式檔案系統(hdfs)、mapreduce為核心。

易擴充套件:方便向集群中新增節點。

可靠:容錯:多個副本。

高效:在節點間動態移動資料。

hdfs、mapreduce、yarn、common。

zookeeper、hive、hbase、pig。

輸入資料——切片——map——shuffle——reduce——輸出資料。

public class wordcount

} public static void reducer extends reducer

} public static void main(string args)

}

hadoop知識點總結

高可靠的體現冗餘副本策略 冗餘 重複,指認為新增重複部分,其某地是對原來單一部分進行備份。可以指定資料檔案的副本數量,預設是3 保證所有的資料塊都有副本,不至於在乙個datanode宕機後,資料的丟失。機架策略 集群一般放在不同機架上,機架間頻寬要比機架內頻寬要小 hdfs具有 機架感知 能力,它能...

hadoop知識點總結

一 hadoop的內建資料型別都實現了writablecompareable,以便序列化和網路傳輸及檔案儲存 a自定義資料型別作為輸入 1.實現writable介面 2.如果給資料需要比較大小時,實現writablecompareable介面 b資料輸入格式和recordreader 資料輸入格式 ...

相關知識點

nweb inf uclasses uweb.xml ulib n 從httpservlet 繼承,重寫doget dopost方法 n部署web.xml n 只有乙個物件 n 第一次請求的時候被初始化,只一遍 n 初始化後先呼叫init 方法,只一遍 n 每個請求,呼叫一遍service serv...