sparkr預設是以單機方式執行的。實現sparkr的集群啟動，需要指定master位址，占用記憶體、cpu，及ui埠等，這對分析人員來說是比較麻煩的。
如何實現對其啟動的封裝，方便分析人員來使用：
vi bdcmagicr
#!/bin/bash function rand() rnd=$(rand 400000 500000) echo $rnd /opt/modules/spark/bin/sparkr --master spark: --executor-memory 8g --total-executor-cores 45 --conf spark.ui.port=$rnd
說明：1）首先使用乙個隨機函式生成乙個40000到50000之間隨機數，用來做ui的埠。
2）然後指定指定master位址，占用記憶體、cpu。
3）最後把bdcmagicr 加入環境變數即可。
使用時，在終端輸入bdcmagicr
即可以集群方式啟動執行sparkr
zookeeper集群啟動指令碼
zookeeper 集群一鍵啟動 關閉指令碼 不得不說，懶在某方面也促進了人類技術的發展。這裡把zk指令碼分享給大家 一 啟動 bin bash echo e e 1 35m start zk e 0m i 1for i 1 i 3 i i 1 do echo e e 1 33m min0 i zk...
ES集群的自動啟動指令碼
1 先建立乙個檔案儲存指令碼 mkdir elasticsearch mv elasticsearch elastic 2 進入該資料夾 cd elastic 3 建立指令碼 touch elastic stop.sh 4 新增許可權 chmod u x elastic stop.sh 5 編寫指令...
Kafka集群安裝部署與啟動指令碼
hadoop102 hadoop103 hadoop104 zkzk zkkafka kafka kafka 1 解壓安裝包 atguigu hadoop102 software tar zxvf kafka 2.11 2.4.1.tgz c opt module 2 修改解壓後的檔案名稱 atgu...