乙個分布式計算平台,以hadoop分布式檔案系統(hdfs)、mapreduce為核心。
易擴充套件:方便向集群中新增節點。
可靠:容錯:多個副本。
高效:在節點間動態移動資料。
hdfs、mapreduce、yarn、common。
zookeeper、hive、hbase、pig。
輸入資料——切片——map——shuffle——reduce——輸出資料。
public class wordcount
} public static void reducer extends reducer
} public static void main(string args)
}
hadoop知識點總結
高可靠的體現冗餘副本策略 冗餘 重複,指認為新增重複部分,其某地是對原來單一部分進行備份。可以指定資料檔案的副本數量,預設是3 保證所有的資料塊都有副本,不至於在乙個datanode宕機後,資料的丟失。機架策略 集群一般放在不同機架上,機架間頻寬要比機架內頻寬要小 hdfs具有 機架感知 能力,它能...
hadoop知識點總結
一 hadoop的內建資料型別都實現了writablecompareable,以便序列化和網路傳輸及檔案儲存 a自定義資料型別作為輸入 1.實現writable介面 2.如果給資料需要比較大小時,實現writablecompareable介面 b資料輸入格式和recordreader 資料輸入格式 ...
相關知識點
nweb inf uclasses uweb.xml ulib n 從httpservlet 繼承,重寫doget dopost方法 n部署web.xml n 只有乙個物件 n 第一次請求的時候被初始化,只一遍 n 初始化後先呼叫init 方法,只一遍 n 每個請求,呼叫一遍service serv...