1使用者名稱密碼
jack1主機：192.168.0.112 root abc123
jack2主機：192.168.0.104 root abc123
jack3主機：192.168.0.106 root abc123
jack4主機：192.168.0.114 root abc123
jack5主機：192.168.0.115 root abc123
jack6主機：192.168.0.110 root abc123
拷貝檔案及檔案下的所有內容到指定機器上，對方不用新建tool目錄：
scp -r /tool/ [email protected]:/
拷貝資料夾下的所有內容到指定目錄下，
scp /tool/* [email protected]:/tool/
拷貝指定目錄下的檔案到指定目錄下，並且可以重新命名：
scp /tool/jdk-8u192-linux-x64.tar.gz [email protected]:/tool/jdk-8u192-linux-x64.tar.gz
cp -r dir1 dir2 表示將dir1及其dir1下所包含的檔案複製到dir2下
cp -r dir1/. dir2 表示將dir1下的檔案複製到dir2,不包括dir1目錄
nohup ./start.sh &
2搭建環境命令
編輯模式：使用vi進入文字後，按i開始編輯文字
退出編輯模式 ：按esc鍵，然後：退出vi
:q! 不儲存檔案，強制退出vi命令
:w 儲存檔案，不退出vi命令
:wq 儲存檔案，退出vi命令
按下」/「鍵，這時在狀態列（也就是螢幕左下腳）就出現了 「/」 然後輸入你要查詢的關鍵字敲回車，找到相關文字以後：
（1）按下小寫n，向下查詢 （2）按下大寫n，向上查詢
安裝jdk(華為映象)
tar -zxvf jdk-8u192-linux-x64.tar.gz -c /usr/local/
cd ~
ls -a
vi .bash_profile
source .bash_profile
3vagrant安裝環境
02 打包
vagrant package --output first-docker-centos7.box
03 得到first-docker-centos7.box
04 將first-docker-centos7.box新增到其他的vagrant環境中
vagrant box add first-docker-centos7 first-docker-centos7.box
05 得到vagrantfile
vagrant init first-docker-centos7
06 根據vagrantfile啟動虛擬機器
vagrant up [此時可以得到和之前一模一樣的環境，但是網路要重新配置]
啟動zk:
sh zookeeper-server-start.sh -daemon …/config/zookeeper.properties
修改server.properties, 增加zookeeper的配置zookeeper.connect=localhost:2181
啟動kafka:sh kafka-server-start.sh -damoen config/server.properties
停止kafka:sh kafka-server-stop.sh -daemon config/server.properties
建立topic:sh kafka-topics.sh --create --zookeeper localhost:2181
–replication-factor 1 --partitions 1 --topic test
replication-factor 表示該topic需要在不同的broker中儲存幾份，這裡設定成1，表示在兩個broker中儲存兩份,partitions 分割槽數
檢視topic:
4安裝kafka集群
1.現在kafka安裝包，拷貝到相同目錄下，使用同乙個會話，目的是同時操作多個機器。
步驟：1.將解壓的kafka安裝包再複製兩份，如下主機上各有乙份
192.168.0.112;192.168.0.104;192.168.0.106;
zk連線資訊192.168.0.114：2181 模式是單機：mode: standalone
2.修改/usr/local/kafka_2.12-2.5.0/config/server.properties，修改三處：
192.168.0.112 的配置：
zookeeper.connect=192.168.0.114:2181
broker.id=0
listeners=plaintext:
192.168.0.104 的配置：
zookeeper.connect=192.168.0.114:2181
broker.id=1
listeners=plaintext:
192.168.0.106的配置：
zookeeper.connect=192.168.0.114:2181
broker.id=2
listeners=plaintext:
3.啟動zk和三個節點上的kafka
./zkserver.sh start …/conf/zoo.cfg
sh kafka-server-start.sh -daemon …/config/server.properties
4.檢視zk上是否註冊上三個節點的kafka
Kafka試用記錄
為了初步了解kafka功能和效能，通過實驗簡單試用。1 kafka 2.9.1 0.8.2.1演示 zookeeper server 192.168.1.66 2181 kafka server 192.168.1.66 9092 kafka consumer 192.168.1.55 wget t...
kafka學習記錄
kafka集群搭建 1 搭建 2 配置檔案介紹 軟體環境 linux 需要有zookeeper集群，版本選擇0.8.1 kafka 原始碼包 配置檔案 server.properties 不推薦使用預設的zookeeper broker.id 0 例項id 集群中的唯一標示 prot 9092 ho...
Kafka學習記錄
kafka適合什麼樣的場景?它可以用於兩大類別的應用 構造實時流資料管道，它可以在系統或應用之間可靠地獲取資料。相當於message queue 構建實時流式應用程式，對這些流資料進行轉換或者影響。就是流處理，通過kafka stream topic和topic之間內部進行變化 以下是一些基本的概念...