pyspider環境部署1 python3安裝

2022-01-16 07:44:47 字數 1417 閱讀 7515

環境準備：centos7

centos系統會自帶python2，我們最好不理它，使用python3執行python指令碼，因為有些程式會依賴python2環境，比如yum。

1. 安裝依賴環境

3.安裝python3

我個人習慣安裝在/usr/local/python3

建立目錄：

mkdir -p /usr/local/python3

tar -zxvf python-3.6.4.tgz
4.進入解壓後的目錄，編譯安裝。

cd python-3.6.4


./configure --prefix=/usr/local/python3


make


make install    或者 make && make install
5.建立python3的軟鏈

ln -s /usr/local/python3/bin/python3 /usr/bin/python3
6.將/usr/local/python3/bin加入path

# vim ~/.bash_profile


# .bash_profile


# get the aliases and functions


if [ -f ~/.bashrc ]; then


. ~/.bashrc


fi# user specific environment and startup programs


path=$path:$home/bin:/usr/local/python3/bin


export path
讓修改生效

source ~/.bash_profile
檢查python3及pip3是否正常可用：

# python3 -v


python 


3.6.4


# pip3 -v


pip 


9.0.2


from /usr/local/python3/lib/python3.6/site-packages (python 3.6)

1 PY環境與變數

一 環境與檔案形式 1.環境搭建 2.python 則進入互動模式 exit 則退出 vim 1.py 則進入文字模式 3.syntax error 語法錯誤 4.檔案形式 1 源 py 形式 which python 則可以知道python所在路徑 usr bin python print hel...

pyspider環境部署2 pyspider安裝

接上篇文章，在python3.6.4安裝完成的基礎上，安裝相關依賴模組及pyspider。1.setuptools和pip setuptools和pip是python的包管理工具，python3會預設安裝，版本可能不是最新，需要手動公升級一下。這2個模組在python3的安裝日誌結尾處有提示。2.p...

批量部署Hadoop集群環境（1）

問題 看到hadoop部署在一些資料上很是繁瑣，一些簡單的部署方法只是玩具，無法滿足企業的部署條件，如果一台臺伺服器去部署，顯然是不可行。解決 在學習及其他資料後，準備以 apache hadoop yarn moving beyond mapreduce and batch processing ...