1.為何kafka把訊息存在磁碟上，但可以輕鬆支援每秒百萬級的寫入請求 / kafka高吞吐率的原因？
kafka為了防止丟失資料，將收到的訊息寫入磁碟中，但仍能保證高吞吐率，超過了大部分的訊息中介軟體，使得kafka在日誌處理等海量資料場景廣泛應用。為了優化寫入速度kafka採用了順序寫入和mmfile兩個技術。
因為硬碟是機械結構，每次讀寫都會定址->寫入，其中定址是乙個「機械動作」，它是最耗時的。所以硬碟最討厭隨機i/o，最喜歡順序i/o。為了提高讀寫硬碟的速度，kafka就是使用順序i/o。這樣省去了大量的記憶體開銷以及節省了io定址的時間。但是單純的使用順序寫入，kafka的寫入效能也不可能和記憶體進行對比，因此kafka的資料並不是實時的寫入硬碟中 。
pagecache：實現檔案到物理記憶體的對映，應用把資料寫入到核心空間，資料等價得寫入到磁碟，作業系統決定什麼時候將資料對映到磁碟。
kafka資料順序
紅色為 leader。青色為 follower。黑色為 宕機。黃色為 恢復。資料1 寫入 broker1,broker2,broker3。完成提交 資料2進行寫操作，leader寫入後宕機 還有沒對副本進行同步 資料2 進行retry。此時broker2 replica 已經變更為leader。寫入...
Kafka生產者 向Kafka寫入資料
目錄 前言 1 kafka生產者概覽 2 建立kafka生產者 3 傳送訊息到kafka 4 生產者的配置 5 序列化器 6 分割槽 kafka不管是作為訊息佇列 訊息匯流排還是資料儲存平台來使用，都需要有乙個可以往kafka寫入資料的生產者和乙個可以從kafka讀取資料的消費者，或者乙個兼具兩種角...
go 使用sarama寫入kafka資料時間戳問題
檢視訊息時間戳的命令 kafka console consumer bootstrap server localhost 9092 property print.timestamp true topic test from beginning 發現sarama生產者推送到kafka的createti...