喜加一 kafka學習筆記

2018-12-25，周二，多雲

昨天看了一圈kafka的概念，今天來實踐一下。

先啟動zookeeper：

xmlydemacbook-pro:conf xmly$ zkserver.sh start

zookeeper jmx enabled by default
using config: /users/xmly/tools/zookeeper-3.4.10/bin/../conf/zoo.cfg
starting zookeeper ... started

然後啟動kafka：

xmlydemacbook-pro:kafka_2.11-2.1.0 xmly$ kafka-server-start.sh  config/server.properties

xmlydemacbook-pro:config xmly$ jps

1049 kafka
730 quorumpeermain
1597 jps

建立乙個名為test的topic：

xmlydemacbook-pro:config xmly$ kafka-topics.sh  --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

created topic "test".

xmlydemacbook-pro:config xmly$ kafka-topics.sh --zookeeper localhost:2181 --list

test

xmlydemacbook-pro:config xmly$ kafka-console-producer.sh --broker-list localhost:9092 --topic test

>message1
>this is another message, we call it message2
>

xmlydemacbook-pro:config xmly$ kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

message1
this is another message, we call it message2

kafka不僅可以從終端輸入從終端輸出，還可以讀檔案寫檔案。使用connectors。

起兩個connector：

修改$kafka_home/config/connect-file-source.properties:

name=local-file-source

connector.class=filestreamsource
tasks.max=1
file=/users/xmly/test/test.txt
topic=connect-test

Kafka學習筆記（一） 初識

上游模組或系統產生資料，下游模組或系統使用資料 分析資料 計算資料，這樣的就可以使用訊息系統。我個人認為就是，可以非同步處理，乙個管生產 乙個管消費，關係基本穩定不會倒置，就可以使用訊息系統。還有一種場景就是，把資料放到訊息中介軟體裡存放，不存放在資料庫裡。這些資料順序存在訊息中介軟體，反而比存在資...

學習筆記 Kafka

kafka kafka把資料往磁碟上寫，但是在磁碟上存它的讀寫速度比記憶體快，這個依賴於預讀和後寫功能，但是這個預讀和後寫必須是按照順序的方式，若沒有順序的方式優化的話，不存在什麼預讀和後寫。特點 訊息持久化 能落到磁碟 通過o 1 的磁碟資料結構提供資料的持久化 高吞吐量 分布式 擴充套件能力強 ...

Kafka學習筆記

1.1簡介 apache kafka 是分布式發布 訂閱訊息系統 訊息中介軟體 它最初由 linkedin 公司開發，之後成為 apache 專案的一部分。kafka 是一種快速 可擴充套件的 設計內在就是分布式的，分割槽的和可複製的提交日誌服務。apache kafka 與傳統訊息系統相比，有以下...