gerapy 是一款分布式爬蟲管理框架,支援 python 3,基於 scrapy、scrapyd、scrapyd-client、scrapy-redis、scrapyd-api、scrapy-splash、jinjia2、django、vue.js 開發,gerapy 可以幫助我們:
更方便地控制爬蟲執行
更直觀地檢視爬蟲狀態
更實時地檢視爬取結果
更簡單地實現專案部署
更統一地實現主機管理
更輕鬆地編寫爬蟲**
pip install gerapy # 安裝
gerapy # 檢視是否安裝成功
gerapy init # 執行後會在當前目錄下生成乙個名字為gerapy的資料夾
cd gerapy # 接著進入該資料夾下,可以看到project檔案家說明初始化成功
gerapy migrate # 此命令在gerapy目錄下執行,會在gerapy目錄下生成乙個sqlite資料庫,同時建立資料表
gerapy createsuperuser # 建立超級使用者 之後就是輸入username, email,password
gerapy runserver 127.0.0.1:8000 # 預設是本地化啟動,如果埠被占用請自行更改
瀏覽器訪問 derby安裝配置與使用
derby 我用的是10.10.2.0 解壓縮到任意資料夾,我的是 d db derby 10.10.2.0 bin 2,配置環境變數 建立derby home,值 d db derby 10.10.2.0 bin 在path加入 derby home bin 在classpath加入 derby ...
GLPK 安裝配置與使用
這學期選修了卜東波老師的 計算機演算法設計與分析 linear programmin 部分的作業要求用glpk求解,於是開始摸索glpk的 安裝與使用。glpk 簡介 glpk全程gnu linear programming kits,是gnu opensource 的用於解線性規劃的專案。網上大多...
nginx的安裝與配置 使用
sudo yum y install gcc pcre zlib zlib devel openssl openssl develwget tar xzvf nginx 1.10.3.tar.gz c devtools 進入解壓目錄 cd devtools nginx 1.10.3 編譯 confi...