3：kafka中的訊息是否會丟失和重複消費？
4：producer如何優化速度
5：kafka的優點
6：kafka和zookeeper關係
資料盤：6塊8t的固態資料盤，由12塊raid1組成。
記憶體256g。
包括生產者和消費者兩面優勢
1：零拷貝(zero-copy)
呼叫系統的sendfile函式，根據消費者傳遞過來的偏移量讀取指定內容的資料返回給消費者，大大減少資料複製。
要確定kafka的訊息是否丟失或重複，從兩個方面分析入手：生產和消費。
1、生產
配置request.required.acks屬性來確認訊息的生產方式：
0---表示不進行訊息接收是否成功的確認；不和kafka集群進行訊息接收確認，則當網路異常、緩衝區滿了等情況時，訊息可能丟失；
1---表示當leader接收成功時確認；同步模式下，只有leader確認接收成功後但掛掉了，副本沒有同步，資料可能丟失；
-1---表示leader和follower都接收成功時確認；不會丟失
訊息丟失：訊息偏移量提交但是還沒有消費就失敗了
訊息重複：消費成功了但是偏移量提交失敗
增加執行緒
提高 batch.size
增加更多 producer 例項
增加 partition 數
增加log.dir資料寫入路徑，多磁碟寫入
資料不怕丟失可以acks=0
設定 acks=-1 時，如果延遲增大：可以增大 num.replica.fetchers（follower 同步資料的執行緒數）來調解；
易擴充套件高吞吐量
訊息易於消費管理
主要在producer生產，consumer消費和broker管理三個方面，但是逐漸在弱化zk的作用，減少負載
生產時：通過zk尋找broker節點，並進行生產者均衡負載
broker管理：通過心跳感知判斷broker節點是否丟失，記錄broker節點；儲存topic的元資料操作，比如刪除，新建，修改以及isr資訊，選舉partition的leader
consumer消費：這些消費者組，記錄消費的偏移量
C 各種面試問題彙總
害，還沒找到工作，太難了，只能繼續努力了，加油衝！1.c 拷貝建構函式為什麼只能引用傳遞，不能按值傳遞 因為按值傳遞的話，得先用拷貝建構函式給形參賦值，又按值傳遞，又呼叫拷貝建構函式，一直這樣無限遞迴，所以不能按值傳遞。2.x x 1 x 1 x 哪個效率最高 x x 1首先取右邊x的位址取值，加1...
kafka常見面試問題（1）
問題1 什麼是apache kafka?答 apache kafka是乙個發布 訂閱開源訊息 應用程式。這個訊息傳遞應用程式是用 scala 編碼的。基本上，這個專案是由apache軟體啟動的。kafka的設計模式主要基於事務日誌設計。問題2 kafka中有哪幾個元件?答 kafka最重要的元素是 ...
spark面試問題彙總（持續更新 ）
spark submit的時候如何引入外部jar包 spark shuffle的具體過程，你知道幾種shuffle方式 spark 如何防止記憶體溢位 cache和pesist的區別 怎麼處理資料傾斜 簡要描述spark分布式集群搭建的步驟 spark使用 1 當前檔案a.text的格式為，請統計每...