構架技術
支援資料庫
優點缺點
github統計
crawlab
golang + vue + redis
mongodb
尚不支援蜘蛛版本控制
star:6.8k
scrapydweb
python flask + vue
sqlite、mysql、postgresql
漂亮的ui介面，內建的scrapy日誌解析器，用於執行任務的統計資訊和圖形，支援節點管理，cron作業，郵件通知，移動裝置。全功能蜘蛛管理平台
除scrapy之外不支援蜘蛛。由於python flask後端效能有限。
star:1.9k
gerapy
python django + vue
sqlite
gerapy由網路爬蟲大師germey cui構建。簡單的安裝和部署。漂亮的ui介面。支援節點管理，**編輯，可配置的爬網規則等。
再次不支援scrapy以外的蜘蛛。很多錯誤都是基於v1.0中的使用者反饋。期待v2.0的改進
star:2.1k
spiderkeeper
python flask
sqlite
開源scrapyhub。簡潔明瞭的ui介面。支援cron工作。
也許過於簡化，不支援分頁，不支援節點管理，不支援scrapy以外的蜘蛛。
star:2.4k
使用scrapy框架爬蟲，寫入到資料庫
import scrapy class bossitem scrapy.item define the fields for your item here like name scrapy.field name scrapy.field 對應實體類的屬性 salary scrapy.field co...
資料庫語法對比
title toclayout categories br 資料庫語法對比 true blog blog blog 2019 10 11 04 24 43 0700 統計了在開發過程中,不同資料庫實現相同功能的不同語句。在開發過程中,需要寫一些不同資料庫間的相同功能sql。今天有時間就特地總結一下,...
各資料庫對比
現在已有很多大公司使用了nosql google facebook adobe 資料庫型別 儲存型別 部分代表 特點nosql非關係型資料庫 文件儲存 mongodb 文件儲存一般用類似json的格式儲存，儲存的內容是文件型的。這樣也就有機會對某些字段建立索引，實現關聯式資料庫的某些功能。mongo...