kafka：分布式訊息系統，由linkedin使用scala編寫，用於活動流以及運營資料處理管道的基礎支援，具有高水平擴充套件和高吞吐量的優勢。
kafka的使用場景：
作為資料管道或者訊息系統來使用
與其他幾種mq的對比：
組成部分概述：
一些概念：
topic：類似於新聞板塊中的體育，財經，娛樂之類的分類概念，實際業務中通常是乙個業務對應乙個主題。
分割槽(partition):乙個topic中訊息資料被分為多個分割槽(partition),分割槽是kafka中訊息消費的最小單位，乙個分割槽可以看作為乙個fifo的佇列。
大致的架構圖如下：
副本備份是從0.8版本開始的新功能，保證了該系統中資料的高可靠性，防止某乙個broker宕機，造成系統資料丟失不可用。
zookeeper提供分布式狀態管理，分布式配置管理以及分布式鎖管理等。
zk集群要求奇數數量的機器，因為本身要求集群中必須存活半數以上的機器來維持服務的正常運轉。
zk配置檔案的重點：
一、配置集群機器的快照資料位址。
二、配置事務日誌資料的位址。
三、配置所有集群機器的通訊介面以及選舉介面。
四、配置的id寫入到快照資料目錄下面的myid檔案中。
五、可以使用crontab -e生成定時任務來呼叫zkcleanup.sh指令碼定時清除歷史日誌。
kolla專案初步認知
kolla專案起源於tripleo專案，聚焦於使用docker容器部署openstack服務。該專案由cisco於2014年9月提出，是openstack 社群big tent開發模式下的孵化專案。在國內一些網際網路資料上，常看到關於kolla是tripleo專案的一部分這樣的描述，其實是不準確的。...
IDE 介面初步認知
介面 主要考慮傳輸速率 訊號格式。並行口 印表機埠，25針d頭。8位並行傳輸。序列口 com口 usb口，9針d頭，rs232介面。ide integrated drive electronics整合驅動電子 是現在普遍使用的外部介面,主要接硬碟和光碟機。採用16位資料並行傳送方式,體積小,資料傳輸...
kafka初步認識
producer 訊息生產者，向kafka集 送訊息，它是乙個程式 consumer 訊息消費者，從kafka集群獲取資料，它是乙個程式 broker kafka集群的最小組成單元，它是乙個服務 topic kafka將producer產生的訊息按照topic進行分類 partition kafka...