一、分類
peer to peer：點對點模式。訊息只能被乙個消費者消費，消費者之間是競爭關係
publish-subscribe：發布訂閱模式。訊息不會被某個消費者取走，而是被所有的消費者共享
二、作用
解耦。避免了消費者和生產者之間的耦合
消峰限流。能夠有效的降低消費者的負載量
持久化儲存
一、概述
kafka是發布訂閱模式的訊息佇列
kafka是由linkedin（領英）公司開發後來貢獻給了apache的訊息佇列
kafka的特徵：
a. 發布和訂閱訊息流
b. 在儲存訊息流的時候要提供容錯機制
c. 當資料流出現的時候能夠及時處理
kafka的應用場景：
a. 能夠在系統或者應用之間構建可靠的資料傳輸的實時流管道
b. 能夠構建乙個轉化或者應對資料流的實時流應用
kafka是利用了scala語言構建的，scala天然支援併發和吞吐，保證kafka的併發量和吞吐量是比較高的，實際過程中，kafka的吞吐量是在60~80m/s - kafka底層採用了零拷貝的技術
broker：
a. 就表示kafka中的節點
b. 每乙個broker都需要給乙個編號，這個編號只要不相同的就可以
topic：
a. 作用是用於對資料進行分類的
b. 在kafka中，每一條資料都要傳送到乙個指定主題中
c. 每乙個主題對應乙個到多個partition
partition：
a. 每乙個partition對應乙個目錄
b. 如果有多個kafka節點，分割槽會平均分到每乙個節點上
高吞吐率：在廉價的商用機器上單機可支援100w條/秒訊息
訊息持久化：所有的訊息都會儲存在磁碟上，不會產生訊息的丟失
支援完全分布式
指令 解釋
sh kafka-server-start.sh …/config/server.properties 開啟kafka
sh kafka-topics.sh --create --zookeeper hadoop01:2181 --replication-factor 1 --partitions 1 --topic video 建立主題
命令 作用
sh kafka-topics.sh --create --zookeeper hbase01:2181 --replication-factor 1 --partitions 1 --topic englishbook 建立主題
在建立的時候，副本數量要小於等於節點數量
sh kafka-topics.sh --list --zookeeper hbase01:2181 檢視所有的topic
sh kafka-console-producer.sh --broker-list hbase01:9092 --topic englishbook 啟動生產者
sh kafka-console-consumer.sh --zookeeper hbase01:2181 --topic englishbook --from-beginning 啟動消費者
sh kafka-topics.sh --delete --zookeeper hbase01:2181 --topic englishbook 刪除topic
sh kafka-topics.sh --describe --zookeeper hbase01:2181 --topic englishbook 描述topic的資訊
kafka基本配置
解壓安裝包
tar -xvf kafka_2.10-0.10.0.1.tgz
進入安裝目錄
cd kafka_2.10-0.10.0.1
進入config目錄下
cd cofig
編輯server.properties
vim server.properties
修改 broker.id=0 log.dirs=/home/software/kafka_2.10-0.10.0.1/logs zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181
啟動zookeeper
進入kafka的bin目錄下來啟動kafka
sh kafka-server-start.sh …/config/server.properties
Integer類概述及基本使用
integer 類在物件中包裝了乙個基本型別 int的值 該類提供了多個方法，能在 int型別和 string 型別之間互相轉換，還提供了處理 int型別時非常有用的其他一些常量和方法 public integer string s 注意 這個字串必須是由數字字元組成 演示實現如下 package ...
Kafka 基本概述 操作
點對點 一對一，消費者消費後立刻清除訊息 發布 訂閱模式 一對多，消費者消費資料之後不會清除訊息 producer 訊息生產者，想kafka broker傳送訊息的客戶端 consumer 訊息消費者，想kafka broker取訊息的客戶端 consumer group cg 消費者組，多個con...
Keepalived 概述及部署
keepalived 軟體起初是專為lvs 負載均衡軟體設計的，用來管理並監控lvs 集群系統中各個服務節點的狀態，後來又加入了可以實現高可用的vrrp 功能。因此，keepalived除了能夠管理lvs軟體外，還可以作為其他服務 例如 nginx haproxy mysql等 的高可用解決方案軟體...