使用Docker搭建Spark集群

2021-10-03 10:43:05 字數 965 閱讀 7785

本次使用big-data-europe/docker-spark: apache spark docker image方便地進行spark開發環境的搭建。

首先需要先準備乙個docker-compose.yml檔案,檔案內容如下:

version

:'2'

services

:spark-master

:image

: bde2020/spark-master:2.4.4-hadoop2.7

container_name

: spark-master

ports:-

"8080:8080"

-"7077:7077"

environment

:- enable_init_daemon=false

spark-worker-1

:image

: bde2020/spark-worker:2.4.4-hadoop2.7

container_name

: spark-worker-

1depends_on

:- spark-master

ports:-

"8081:8081"

environment:-

"spark_master=spark://spark-master:7077"

- enable_init_daemon=false

然後執行

docker-compose up -d
瀏覽器開啟 http://localhost:8080 可以看到spark master管理頁面,開啟http://localhost:8081 可以看到spark worker的詳細頁面

使用docker搭建gitlab

github上開源映象位址 建立私有key,生成簽名需要的csr,證書簽名,提供dhe引數而後建立資料夾certs,將dhparam.pem,gitlab.crt,gitlab.key放進去。mv資料夾certs到 opt gitlab data 下。參考 ssl 注 1.gitlab host g...

使用docker搭建tomcat,mysql服務

搭建環境 ubuntu16.04 lts x64 簡單粗暴這裡使用deb包安裝docker執行環境安裝 sudo dpgk i docker ce 18.06.0 ce 3 0 ubuntu amd64.deb ps 如果提示缺少依賴,安裝對應依賴包就可以。docker pull tomcat 8....

使用docker搭建nextcloud

nextcloud 是基於雲技術的工程教育平台,利用雲技術,提高工程教育過程中教學 實驗與創新的效率與效果。1.今天只做nextcloud 記錄與講解,當前現在很多開源網盤很好用,都可以去嘗試自己去搞一下 主要特點 1 開源且免費,可以自定義外掛程式開發 2 全客戶端的支援,免費更好,ui還算不錯 ...