1.更新
sudo apt-get update
2.pip
python -m pip install -u pip
3.安裝依賴包
sudo apt-get install python-dev
python-distribute
libcurl4-openssl-dev
libxml2-dev
libxslt1-dev
pythonlxml
python-pip
4.安裝pyspider
pip install pyspider
5.安裝phanmtojs
sudo apt-get install phantomjs
6.啟動pyspider
pyspider all
報錯：1.phanmtojs埠已被占用：使用netstat -atunlp 檢視程序ip號
kill ip號，之後重新啟動pyspider
報錯 2.找不到依賴包pycurl，apt_pkg: sudo pip install apt_pkg
sudo pip install pycurl
報錯 pycurl安裝失敗，原因x86..gnu-gcc:
(sudo pip3 uninstall pycurl 解除安裝
sudo pip3 install pycurl 重安
sudo pip install gcc
sudo apt-get install gcc 安裝gcc
sudo apt-get install zlib1g-dev
sudo apt-get install libevent-dev
安裝不知道什麼的依賴包
sudo apt-get install python-twisted-web python2.7-dev
)以上是找不到原因之後胡亂安裝一堆依賴包，但好像是執行一下兩個命令才成功安裝了pycurl。
sudo apt install python3.6-dev 我懷疑是因為本地python版本太高導致報錯，是python3以上的
sudo pip install pycurl
重新啟動pyspider：（pyspider --phantomjs-proxy="localhost:25555"）
報錯：企圖修改唯讀資料庫，原因：許可權問題
sudo chown -r xufei:xufei /usr/local/lib/python3.6/dist-packages/pyspider 其中xufei為本地的使用者名稱
後面為pyspider的路徑。可以通過再次安裝pip install pyspider 檢視
搭建環境不要慌，無非就是少點啥包。
pyspider 搭建日誌
1 安裝pip 略2 安裝phantomjs 必要條件 sudo yum y install gcc gcc c make flex bison gperf ruby openssl devel freetype devel fontconfig devel libicu devel sqlite ...
在安裝和使用pyspider中遇到的問題與解決
在安裝和使用pyspider中遇到個問題，網上沒找到答案自己解決了，記錄一下，希望能給後來採坑者一些幫助。pip3 install pyspider 我同時使用python2和python3,因為我想使用適用於python3的pyspider,因此我用的pip3來安裝的在命令列中輸入 pyspide...
搭建 PySpider 爬蟲服務
1.環境準備 前置環境部署 在開始部署前，我們需要做一些前置準備 yum 更新 yum update y安裝開發編譯工具 yum install gcc gcc c y安裝依賴庫 yum install python pip python devel python distribute libxml...