storm上游資料來源之kakfa
安裝前的準備工作(zk集群已經部署完畢)wget 關閉防火牆
chkconfig iptables off && setenforce 0 建立工作目錄並賦權
mkdir -p /export/servers
chmod 755 -r /export
3.2解壓安裝包
tar -zxvf /export/software/kafka_2.11-0.8.2.2.tgz -c /export/servers/
cd /export/servers/
ln -s kafka_2.11-0.8.2.2 kafka
3.3修改配置檔案
cp /export/servers/kafka/config/server.properties
/export/servers/kafka/config/server.properties.bak
vi /export/servers/kafka/config/server.properties
輸入以下內容:
(提前建立好mkdir -p /export/servers/logs/kafka)
#broker的全域性唯一編號,不能重複3.4分發安裝包broker.id=1 #每台機器遞增
#用來監聽鏈結的埠,producer或consumer將在此埠建立連線
port=9092#處理網路請求的執行緒數量
num.network.threads=3#用來處理磁碟io的執行緒數量
num.io.threads=8#傳送套接字的緩衝區大小
socket.send.buffer.bytes=102400#接受套接字的緩衝區大小
socket.receive.buffer.bytes=102400#請求套接字的緩衝區大小
socket.request.max.bytes=104857600#kafka執行日誌存放的路徑,需要提前建立好
log.dirs=/export/servers/logs/
kafka
#topic在當前broker上的分片個數
num.partitions=2#用來恢復和清理data下資料的執行緒數量
num.recovery.threads.per.data.dir=1#segment檔案保留的最長時間,超時將被刪除
log.retention.hours=168#滾動生成新的segment檔案的最大時間
log.roll.hours=168#日誌檔案中每個segment的大小,預設為1g
log.segment.bytes=1073741824#週期性檢查檔案大小的時間
log.retention.check.interval.ms=300000#日誌清理是否開啟
log.cleaner.enable=true
#broker需要使用zookeeper儲存meta資料
zookeeper.connect=192.168.32.201:2181,192.168.32.202:2181,192.168.32.203:2181
#zookeeper鏈結超時時間
zookeeper.connection.timeout.ms=6000#partion buffer中,訊息的條數達到閾值,將觸發flush到磁碟
log.flush.interval.messages=10000#訊息buffer的時間,達到閾值,將觸發flush到磁碟
log.flush.interval.ms=3000#刪除topic需要server.properties中設定delete.topic.enable=true否則只是標記刪除
delete.topic.enable=true
#此處的host.name為本機ip(重要),如果不改,則客戶端會丟擲:producer connection to localhost:9092host.name=kafka01
advertised.host.name=192.168.32.201 #每台機子都要做相應修改
scp -r /export/servers/kafka_2.11-0.8.2.2 kafka02:/export/servers
然後分別在各機器上建立軟連
cd /export/servers/
ln -s kafka_2.11-0.8.2.2 kafka
3.5依次修改配置檔案
依次修改各伺服器上配置檔案的的broker.id,分別是1,2,3不得重複。
host.name 改成自己的
advertised.host.name 改成自己的
配置環境變數
export kafka_home=/export/servers/kafka3.6重新整理環境變數export path=$path:$kafka_home/bin
source /etc/profile
啟動集群各個節點啟動zookeeper
各個節點啟動集群
#啟動nohup kafka-server-start.sh /export/servers/kafka/config/server.properties &
#停止kafka-server-stop.sh
流量分析作用
1 流量的趨勢能夠預知 的發展前景 2 流量分析可以反應使用者黏度 吸引了很多 使用者訪問。但是,通過流量分析發現,使用者停留的時間非常短,重複訪問使用者不多,使用者平均瀏覽的頁面也少,這樣的 使用者黏度不夠,有流量但是沒有忠實的使用者,一旦有其它可替代 使用者隨時可能流失。這樣的 如果不採取有效的...
Kafka 集群部署
kafka是乙個分布式訊息佇列,需要依賴zookeeper,請先安裝好zk集群 kafka安裝包解壓 tar xf kafka 2.10 0.9.0.1 tgz mv kafka 2.10 0.9.0.1 usr kafka cd usr kafka 配置檔案 server.properties t...
kafka集群部署
一台伺服器上可以啟動多個broker例項,或者將broker部署到多台伺服器上,以下以172.16.50.21集群為例,多台伺服器上部署broker。tar xzf kafka 2.11 1.0.0.tgz cd kafka 2.11 1.0.0kafka依賴zookeeper,如果環境中沒有zoo...