Docker部署Python爬蟲專案

2021-10-01 05:01:53 字數 2205 閱讀 9435

title: docker部署python爬蟲專案

1) 首先安裝docker:

# 用 yum 安裝並啟動

yum install docker -y && systemctl start docker

# 這裡以centos7為例

docker pull centos:centos7

3) 基礎映象已經準備好了,接下來準備好需要部署的環境服務,以及python專案:

### 建立 dockerfile 檔案

mkdir dockerfile &&

cd dockerfile

wget

### 將 python 專案複製到此目錄

cp ~/test.py .

### 以及 python 專案的依賴庫

cp ~/requirements.txt .

4) 需要自定義docker映象的大致內容準備好了,接下來編寫dockerfile:

vim dockerfile

### 以centos:centos7來作為基礎映象

from centos:centos7

run yum install -y gcc gcc-c++ autoconf automake libtool make zlib* libffi-devel

### 將dockerfile目錄下的python-3.7.3.tgz複製到docker容器內

copy python-3.7.3.tgz /usr/local/src

### 編譯安裝 python

workdir /usr/local/src

run tar -xf python-3.7.3.tgz

workdir python-3.7.3

run ./configure --prefix=/usr/local/python37 &&

make

&&make

install

env path /usr/local/python37/bin:$path

### 建立工作目錄

run mkdir /spider

### 將python專案複製到 /spider工作目錄下

add test.py /spider

add requirements.txt /spider

### 設定 /spider 為工作目錄

workdir /spider

run pip3 install -i --trusted-host mi rrors.aliyun.com -r requirements.txt

### 在建立個爬取的資料存放的目錄,這個需要根據自己**裡面設定的目錄來建立,例如:

volume /data

### 最後一步,執行docker映象時執行自己的python專案

### 可以多個引數: cmd ["python3","a","main.py"]

cmd [

"python3","test.py"

]

5) 接下來構建映象:(就在此目錄下執行)

### docker build -t 映象名:版本號     映象名:版本號 均為自定義   別忘了末尾的點「.」

docker build -t pythonspider:v1 .

6) 執行映象:

### 通過 docker images命令就可以看到剛剛建立的映象

docker images

### 執行

docker run -d --name spider -v /data:/data pythonspider:v1

### -d為後台執行,--name 後面設定容器名,-v 是目錄共享,主機目錄和docker容器內目錄共享。建立dockerfile的時候,有這一句 volume /data 就是作為共享目錄使用的,「:」前的目錄為主機目錄,後面的目錄為容器內目錄。。。 最後乙個引數 pythonspider:v1 映象名

cd /data

### 到此目錄下你就會看到產生的資料

Docker 部署Python專案

在目錄下面新建三個檔案 dockerfile,專案檔案,requirements.txt dockerfile檔案 基於映象基礎 from python 2.7 維護者資訊 maintainer name name 163.com 安裝所需的包 run pip install r requireme...

Docker部署python環境

第一步,新建專案目錄py official,進入此目錄,然後使用docker pull命令拉取官方映象 docker pull python在專案中新建乙個dockerfile檔案,內容如下 from python 3 onbuild cmd python3.5 py3 sample.py 新建py...

Docker下部署python專案

docker中部署python檔案,需要三個檔案 1 需要執行的python檔案 2 requirements.txt檔案,儲存所需類庫的版本 3 dockerfile檔案,需要執行的命令 pip freeze requirements.txttxt檔案中的版本可根據需求進行增加或刪除,我生成的類庫...