群輝6 1 7安裝scrapy框架執行爬蟲

2022-04-29 09:15:08 字數 2025 閱讀 1152

只針對會linux命令,會python的夥伴,

使用環境為:

群輝ds3615xs 6.1.7

python3.5

最近使用scrapy開發了乙個小爬蟲,因為很窮沒有伺服器可已部署。

所以打起了我那台千辛萬苦攢出來的群輝的主意。以前折騰的時候發現群輝6.1.7基於linux64位系統實現的。

既然是linux系統就應該可以裝python。開始我的折騰之路。

剛開始直接ssh遠端上去後想apt-get install 方法安裝python的,結果發現根本就沒有apt-get命令。

不過群輝的好處就是第三方套件很多。

以下命令的路徑都是基於本人真實路徑,請根據實際情況修改

1.新增第三方套件源 

安裝第三方的python3(官方也提供了乙個python3,但是我沒用,也不知道是為什麼,為什麼呢,為什麼呢,問了自己八百遍。建議不太懂的參考我的)

安裝如下python3就好

安裝完成後,進入設定開啟ssh,putty遠端連線上群輝。

記得檢視一下python3安裝在哪個位置,在下圖中可以得到位置,我的是在volume2下

2.群輝官方安裝的python3預設是沒有pip的,我廢了老大勁裝上了,然後pip3 install scrapy裝不上。

當然如果裝上了這個教程就到此結束了,結果廢了半天勁最後沒用上pip。

pip安裝scrapy 期間處理各種錯誤,奈何本人技術有限無法成功,只能另闢蹊徑用非正常方法了。

本人開發環境是虛擬機器下的deepin系統(底層也是linux),已經裝好了scrapy框架,同樣是python3.5。

進入deppin虛擬機器的套件安裝目錄,本人的路徑是/home/libing/.local/lib/python3.5/site-packages,別的系統自行查詢

複製出來以下資料夾待用 pydispatch,pyopenssl-18.0.0.dist-info,scrapy,twisted,twisted-18.7.0.dist-info,

複製出來scrapy檔案,命令列下 type scrapy 可以檢視路徑。

上傳複製出來的檔案到群輝。我上傳到了 /volume2/docker 目錄下

資料夾名稱可能版本不同有所差異,可能有漏的,因為我安裝了pip複製完成後又執行了pip install scrapy 進行了安裝會把某些漏網之魚裝上。

3.putty連線上群輝 執行sudo su -  命令輸入當前使用者的密碼進入超級管理員(注意su和-有乙個空格)

volume2就是剛才群輝安裝套件的位置

python3.5根據安裝版本不同可能不同。

執行cp命令複製剛才上傳的檔案到當前目錄

cp -r /volume2/docker/python3/剛才上傳的資料夾名/ ./

所有的都有全部複製過去

然後把scrapy檔案複製到/usr/local/bin/就好

cp /volume2/docker/python3/scrapy /usr/local/bin/scrapy /usr/local/bin/

還要為python3建立乙個軟連線,不然會提示沒有python3命令根據我的路徑是如下命令

ln -s /volume2/docker/python3/scrapy /usr/local/bin/python3 /bin/

也可以這樣給pip3新增軟連線。

建議再進行pip3 install scrapy安裝一次,防止有漏的資料夾和檔案。

完成後如果執行scrapy命令不報錯,那麼恭喜你成功了。

群輝安裝openwrt

用到的命令 docker start 啟動乙個或多個已經被停止的容器 docker stop 停止乙個執行中的容器 docker restart 重啟容器 語法docker start options container container.docker stop options container...

安裝scrapy框架

1 直接安裝scrapy一般會出現錯誤 pip install scrapy 會出現以下錯誤 5p twisted setup.py f getattr tokenize,open open file code f.read replace r n n f.close exec compile co...

安裝Scrapy框架

1.安裝 scrapy 通過 pip install scrapy 即可安裝。2.如果在windows下,還需要安裝 pipwin32 如果不安裝,那麼以後執行scrapy專案的時候會報錯。安裝方式 pip install pipwin32 3.如果在ubuntu下,還需安裝一些第三方庫 sudo ...