agenda
apache kafka: core concepts
kafka record
topic and partition
segments
replication factor
producer
consumer
rebalance
consumer offsets
commit
delivery semantics for consumers
1. kafka record
每一條發布到kafka的訊息被稱為 「record」
record包含兩個部分:
2. topic and partition
topic
partition
partitions count
guidelines
offset
乙個訊息最終儲存到某個主題的某個分割槽中，分割槽在儲存層面是乙個可追加的日誌檔案，訊息被追加到分割槽日誌時會分配乙個偏移量（offset），offset是訊息在分割槽中的唯一標識，通過它可以保證訊息在分區內有序。
每個partition的資料夾由segment檔案組成，segment檔案包含.index檔案、.log檔案、.timeindex檔案（早期版本中沒有）三個檔案， log檔案就實際是儲存message的地方，而index和timeindex檔案為索引檔案，用於檢索訊息。
replication指的是訊息的備份，為了保證kafka的高可用（當leader節點掛了之後，kafka依然能提供服務）kafka提供了備份的功能。這個備份是針對partition的。
配置數量：
應該至少是2，最大是3
如果有3個broker，設定為2
如果broker數量大於5，設定為3
rebalance會發生在：
8. consumer offsets
9. commit
kafka consumer api提供了多種方式提交偏移量：
自動提交
手動提交
10. delivery semantics for consumers
kafka有3種交付語義：
一些資料庫理論知識
1.資料庫事務 事務隔離級別 悲觀鎖 樂觀鎖等概念。2.資料庫acid特徵 atomic 原子性 指整個資料庫事務是不可分割的工作單元。consistency 一致性 指資料庫事務不能破壞關係資料的完整性以及業務邏輯上的一致性。isolation 隔離性 指的是在併發環境中，當不同的事務同時操縱相同...
資料庫的一些理論知識
1.資料庫技術的根本目標是解決資料共享的問題。2.在乙個關係r中，若每個資料項都是不可再分割的，那麼r一定屬於第一正規化。3.dbms的基本單位是事務，是構成單一邏輯工作單元的操作集合。4.給長事務分配大回滾段。5.資料庫恢復的基礎是利用轉儲的冗餘資料。這些轉儲的冗餘資料報括日誌檔案 資料庫後備副本...
Kafka面試題 一些重要的核心知識點
broker broker是kafka的例項，每台伺服器都有乙個或多個broker，borker端不維護資料的消費狀態，直接用磁碟儲存資料，線性讀寫，提高效率。producer 發布者，將訊息推送給broker consumer 消費者，從broker端拉取訊息 topic 傳送到broker的訊息...