kafka通過副本機制保證資料的可靠性
一.副本機制的概念如下:
1.乙個partition有多個副本replication,一般是3個或5個
2.每個副本位於不通的broker
3.每個副本集合裡有乙個leader副本,其餘的為follower副本,只有leader副本才接受讀寫請求,follower副本只做同步資料
4.所有的副本組成的集合稱為ar,所有同步副本成為isr(in-sync replication),所有非同步副本成為osr,osr+isr=ar
5.如果leader副本不可用,將從isr中選第乙個成為leader副本
二.leo和hw
leo指每個副本的待寫入訊息的offset
hw指安全訊息的offset,hw=min
所以:1.消費者能讀到hw前的訊息
2.如果leader宕機,不會有訊息丟失
三.相關引數
1.replica.lag.time.max.ms: 副本最大延遲時間,超過這個延遲時間的副本會被踢出isr
2.unclean.leader.election.enable: 如果isr沒有副本,能否從osr中選舉副本成為leader
3.min.insync.replicas: 最小的isr集合中副本數,比如ar為3.這個引數設為2,則最多允許乙個非同步副本
Kafka學習筆記 副本機制
所謂副本 replica 本質就是乙個只能追加寫訊息的提交日誌。根據 kafka 副本機制的定義，kafka 是有主題概念的,而每個主題又進一步劃分成若干個分割槽。副本的概念實際上是在分割槽層級下定義的，每個分割槽配置有若干個副本。同乙個分割槽下的所有副本儲存有相同的訊息序列，這些副本分散儲存在不同...
kafka分割槽和副本機制驗證
目前使用kafka集群，但是由於資料量還行，就不想使用太多的分割槽，所以只想弄乙個分割槽，網上資料看了一大堆，基本都是些理論和囉嗦，於是乎自己手動來驗證下這個情況的好壞。假設是三颱機器的kafka集群，建立乙個主題one fb1 fq1，指定副本數1和分割槽數1，命令 bin kafka topic...
HDFS的副本機制 副本機制的過程
hdfs的副本機制 快速恢復能力 副本機制 保證資料的容錯性 因為datanode上的資料是會丟失的，存第一塊的時候，又複製出一塊存放在其他兩個節點上，存放的相當於副本 假如說node1機器宕機了，其他的機器是有存放node1的block副本，即使node1宕機也不影響資料的完整性的 a.txt 在...