strom單機模式安裝

2021-09-24 15:08:53 字數 1730 閱讀 3327

本地模式在乙個程序裡面模擬乙個storm集群的所有功能， 這對開發和測試來說非常方便。

linux ubuntu 14.04

apache-storm-0.9.4.tar.gz

jdk-7u75-linux-x64

在linux下安裝storm單機模式

1、首先要安裝jdk和python。

注：jdk為jdk6及以上、python為python2.6及以上。

3、建立logs檔案並啟動strom。

mkdir logs

./storm

4、開啟dev-zookeeper，並將標準輸出重定向到zk.out中，並檢視該檔案內容。

./storm dev-zookeeper >> ../logs/zk.out 2>&1 &


tail -f ../logs/zk.out
注：開啟dev-zookeeper的作用是，以dev.zookeeper.path配置的值作為本地目錄，以storm.zookeeper.port配置的值作為埠，啟動乙個新的zookeeper服務，僅用來開發測試。

5、開啟nimbus，並將標準輸出重定向到nimbus.out中。檢視logs中的nimbus.out檔案。

./storm nimbus >> ../logs/nimbus.out 2>&1 &


tail -f ../logs/nimbus.out
注：在集群模式中，nimbus作為主節點的守護程序，它負責在集群內分發**，為每個工作結點指派任務和監控失敗的任務。

6、開啟ui，並將標準輸出重定向到ui.out中，檢視logs中的ui.out檔案。

./storm ui >> ../logs/ui.out 2>&1 &


tail -f ../logs/ui.out
7、開啟lo**iewer守護程序，並將標準輸出重定向到lo**iewer.out中，並檢視該檔案的內容。

./storm lo**iewer >> ../logs/lo**iewer.out 2>&1 &


tail -f ../logs/lo**iewer.out
注：此時可以看到supervisors的內容，包括id、host、uptime（持續時間）、slots(槽位)。

8、storm已安裝成功，接下來測試，切換到examples/storm-starter/目錄中，使用jar命令查詢storm-starter-topologies-0.9.4.jar中有關wordcount的內容。之後提交乙個名為wordcount的topology。

cd ../examples/strom-starter/


jar tvf storm-starter-topologies-0.9.4.jar | grep wordcount


./storm jar ../examples/strom-starter/storm-starter-topologies-0.9.4.jar storm.starter.wordcounttopology wordcount
注：wordcount為topology的名字。

9、在ui中檢視名為wordcount的topology的各項引數，如下圖所示：

kafka 安裝（單機模式）

1.準備安裝包 上傳到目錄 opt kafka 解壓 tar zxvf kafka 2.12 1.0.0.tgz 2.修改配置檔案 config server.properties 引數預設值 參考數值 broker.id00 port 9092 9092 log.dirs tmp kafka lo...

Docker 安裝 Redis 單機模式

docker 安裝 redis 單機模式 使用root使用者操作 1 拉取官方的最新版本的映象 2 建立redis掛載配置資料夾 mkdir opt docker redis 修改啟動預設配置 bind 127.0.0.1 注釋掉這部分，這是限制redis只能本地訪問 protected mode ...

HBase單機模式安裝簡單教程

經過簡單的學習了解，hbase安裝是需要多元件整合的，且適用於tb pb級別資料儲存和實時性較高的集群場景，一般開發使用的完全分布式集群安裝 hadoop ha zookeeper hbase 但是畢竟是初學，用不到那麼硬的開發環境，再乙個集群環境下要帶的動資料儲存一般每個虛擬機器節點的記憶體要求不...