Kafka流處理平台 筆記

producer

訊息和資料生產者，向kafka的乙個topic發布訊息的程序/**/服務

訊息和資料的消費者，訂閱資料（topic）並且處理其發布的訊息的程序/**/服務

邏輯概念，對於同乙個topic，會 廣播給不同的group，乙個group中只有乙個consumer可以消費該訊息；

物理概念，kafka集群中的每個kafka節點；

邏輯概念，kafka訊息的類別，對資料進行區分、隔離；

物理概念，kafka下資料儲存的基本單元。乙個topic的資料，會被分散儲存到多個partition是有序的；

同乙個partition可能會有多個replica,多個replica之間資料是一樣的；

乙個partition的多個replica上，需要乙個leader負責該partition上與producer和consumer互動；

負責管理當前broker所有分割槽和副本的資訊，處理kafkacontroller發起的一些請求，副本狀態的切換，新增/讀取訊息等；

1、每個topic被切分為多個partitions

2、消費者數目少於或等於partition的數目

3、broker group中的每乙個broker儲存topic的乙個或多個partitions

4、consumer group中的僅有的乙個consumer讀取topic的乙個或多個partitions，並且是唯一的consumer；

1、當集群中有broker掛掉的情況，系統可以主動的使用replicas提供服務；

2、系統預設設定每乙個topic的replication係數為1，可以在建立topic時單獨設定；

特點：(1) replication的基本單位是topic和partition；

(2) 所有的讀和寫都從leader進，followers只是做為備份；

(3) follower必須能夠及時複製leader的資料

(4) 增加容錯性和可擴充套件性；

包括四種：

多分割槽

多副本多訂閱者

基於zookeeper排程

高吞吐量

低延遲高併發

時間複雜度為o(1)

訊息佇列

行為跟蹤

元資訊監控

日誌收集

流處理事件源

kafka流處理平台

一 kafka有三個特性 1 可以發布和訂閱資料的流，類似於乙個訊息佇列 2 資料流儲存的平台並具備錯誤容忍 3 當資料產生時就可以對訊息進行處理。面向資料流的生產 轉換 儲存 消費的流資料 二 基本概念 producer 訊息和資料的生產者，向kafka的乙個topic發布訊息的程序 服務 con...

paas平台筆記

nova compute服務無法啟動的解決方法 1 檢視計算節點的nova compute日誌檔案，是否提示rabbitmq的5672埠無法連線。2 切換到控制節點，檢視rabbitmq服務是否正常啟動。如果rabbitmq服務不正常就重啟服務，服務無問題則不管。systemctl restart ...

推薦跨平台筆記軟體CherryTree

cherrytree是個樹狀筆記軟體，有著其它類似軟體的功能 支援類似html的h1.h3多級標題 支援無序列表 有序列表 to do列表 支援嵌入 它還有一些特色功能 另外，cherrytree是將整個筆記本儲存為乙個檔案 sqlite格式或者xml格式 這些都是在儲存在裡面的。cherrytre...