hdfs的副本機制---------快速恢復能力
副本機制：保證資料的容錯性
因為datanode上的資料是會丟失的，存第一塊的時候，又複製出一塊存放在其他兩個節點上，存放的相當於副本
假如說node1機器宕機了，其他的機器是有存放node1的block副本，即使node1宕機也不影響資料的完整性的
a.txt 在namenode上是這樣記錄的：block1上存放了node1、node2和node3的副本，第一台node1宕機了
不要緊，namenode會去另外某機器上去拷貝副本放在某台機器上
在預設情況下乙個block有三個副本
hdfs-site.xml裡有dfs.blocksize，規定了每個塊是128m
hdfs-site.xml裡有dfs.replication,規定每個塊的副本數量dfs.blocksize134217728
replication本身就有複製的意思，dfs.replicationdfs.replication
3
3表示每乙個副本數量是3個,存放3個副本的代價就是占用空間
通過占用的空間換取安全是穩妥的做法
namenode是用來儲存元資料的，datanode數量有幾個，每個機器上有幾個副本，有幾個block，namenode都清清楚楚
kafka 副本機制
kafka通過副本機制保證資料的可靠性 一.副本機制的概念如下 1.乙個partition有多個副本replication,一般是3個或5個 2.每個副本位於不通的broker 3.每個副本集合裡有乙個leader副本,其餘的為follower副本,只有leader副本才接受讀寫請求,followe...
分割槽的副本機制
我們已經知道kafka的每個topic都可以分為多個partition，並且多個partition會均勻分布在集群的各個節點下。雖然這種方式能夠有效的對資料進行分片，但是對於每個partition來說，都是單點的，當其中乙個partition不可用的時候，那麼這部分訊息就沒辦法消費。所以kafka為...
分割槽的副本機制
我們已經知道kafka的每個topic都可以分為多個partition，並且多個partition會均勻分布在集群的各個節點下。雖然這種方式能夠有效的對資料進行分片，但是對於每個partition來說，都是單點的，當其中乙個partition不可用的時候，那麼這部分訊息就沒辦法消費。所以kafka為...