Spark單節點docker適配

2021-10-05 04:08:28 字數 897 閱讀 6464

(1)docker搭建spark:

(2)docker-compose安裝:

step1:

curl -luname -s-uname -m> /usr/local/bin/docker-compose

step2:

chmod +x /usr/local/bin/docker-compose

(3)docker-compose常用命令

(4)docker入門(三)docker-compose

(5)docker-compose啟動容器報 conflicts with network

(6)docker-compose.yml檔案的編寫

version: 「2」

services:

master:

image: singularities/spark

command: start-spark master

hostname: master

ports:

- 「6066:6066」

- 「7070:7070」

- 「7077:7077」 # 此處注意! 在(1)網頁中寫的yml檔案中是沒有該對映的,但實際使用時應將此埠對映開啟 此處為spark預設的連線埠

- 「8080:8080」

- 「50070:50070」

worker:

image: singularities/spark

command: start-spark worker master

environment:

spark_worker_cores: 1

spark_worker_memory: 2g

links:

- master

docker單節點網路模式

1.bridge模式 docker容器預設使用bridge模式的網路 docker container run itd name peng bridge network bridge centos bash 啟動乙個容器宿主機會增加乙個veth docker container exec it pe...

Docker安裝部署單節點MongoDB

docker pull docker.io mongo latestdocker run name mongo p 27017 27017 d docker.io mongo latest auth 首先建立資料夾用於掛載目錄 mkdir p docker mongo 賦予許可權 chmod 777...

單節點下使用docker部署consul

目前consul使用的版本是 v1.0.1 部署server端 本環境僅僅部署乙個server端和乙個client端!docker run d p 1234 8500 h node1 name node1 consul agent server bootstrap expect 1 node nod...