啟動
在三颱機器上啟動zookeeper
./zkserver.sh start
在01執行start-dfs.sh
在01執行start-yarn.sh
關閉在01執行stop-yarn.sh
在01執行stop-dfs.sh
在三颱機器上關閉zookeeper
./zkserver.sh stop
先啟動zookeeper,再啟動kafka,zookeeper在kafka裡有自帶的,如果要使用需要進行配置。
三颱機器都 bin/kafka-server-start.sh config/server.properties
開啟話題 bin/kafka-topics.sh --create --zookeeper ha3vm01:2181 --replication-factor 3 --partitions 1 --topic myto
啟動生產者 bin/kafka-console-producer.sh --broker-list ha3vm01:9092 --topic myto
啟動消費者 bin/kafka-console-consumer.sh --zookeeper ha3vm01:2181 --from-beginning --topic myto
執行jar
hadoop jar hadoopt.jar fl5point1.streamcompressor org.apache.hadoop.io.compress.gzipcodec
hadoop fs -mkdir /directory
hadoop fs -ls /
$ echo "text" | hadoop fl5point1.streamcompressor org.apache.hadoop.io.compress.gzipcodec \ | gunzip
error: could not find or load main class fl5point1.streamcompressor
(不知道為什麼,過幾天搞搞shell看看為什麼)
alt + p進入
傳向集群
put c:/hadoopt.jar
Zookeeper集群的安裝與使用
使用命令tar zxvf zookeeper 3.4.14.tar.gz c opt module 解壓檔案。看個人習慣將檔案解壓到自己的路徑即可。題外話 linux專案大多通過專門的使用者建立並管理,這裡的hadoop使用者在 opt目錄下建立了module和software兩個子目錄,並使用su...
搭建與使用redis集群
redis集群中至少應該有三個節點。要保證集群的高可用,需要每個節點有乙個備份機。redis集群至少需要 6臺伺服器。搭建偽分布式。可以使用一台虛擬機器執行6個 redis 例項。需要修改 redis 的埠號 7001 7006 1 使用 ruby 指令碼搭建集群。需要 ruby 的執行環境。安裝r...
Linux串列埠相關使用
1 列出所有的串列埠裝置 ls l dev ttyusb 2 列出所有的外設 ll dev 3 顯示裝置的詳細資訊 lsusb vvv 4 簡歷軟連線 簡歷規則檔案 x.rules kernel ttyusb attrs 10c4 attrs ea60 mode 0777 symlink rplid...