對於爬蟲框架本身來說，都是很優秀的，說那個更好，不如說那個更適合公司的業務需求。比如j**aweb專案中需要某些**的金融系列新聞，得每天定時去抓取一些資料，你就可以考慮webmagic框架，能夠輕鬆的將爬蟲**邏輯模組化到專案中，毫無違和感。當然也可以是別的框架，只要合適就好（以上爬蟲框架就不介紹了，真要說說，估計得長篇大論了.....可以查閱相關資料進行詳細的了解）。
這些開源的爬蟲框架大都是把複雜的問題解決掉，然後封裝，在之後就是我們用的很簡單、方便，不必考慮那些url去重、**、執行緒池管理等等問題，當然建議看看原始碼，多想想他們的設計思想以及實現邏輯。
我們在以前專案中用的爬蟲框架是j**a語言的webmagic和python語言的pyspider。普通j**a爬蟲專案中都可以多多考慮webmagic和webcollector絕對夠用（反正用啥都得考慮動態js抓取，驗證碼識別等等那些反爬蟲機制，這一定是個持久戰，哈哈），上手簡單易擴充套件，注重業務開發就好。如果大型分布式、業務夠複雜、需求點夠多、資料夠龐大下的估計用哪個框架也得進行二次擴充套件了。所以選那個框架不必那麼糾結。
另外搞爬蟲不得不推薦python了，易學，語法簡單，乙個簡單的爬蟲程式可能半個小時就搞定了。雖然在除錯上很費時間，但是當有一定經驗了，很多問題就可以規避掉或者bug定位很快。當然也有痛點，但是這些痛點對於整個專案成本來說完全可以接受。
業精於勤荒於嬉。
對於爬蟲框架本身來說，都是很優秀的，說那個更好，不如說那個更適合公司的業務需求。比如j**aweb專案中需要某些**的金融系列新聞，得每天定時去抓取一些資料，你就可以考慮webmagic框架，能夠輕鬆的將爬蟲**邏輯模組化到專案中，毫無違和感。當然也可以是別的框架，只要合適就好（以上爬蟲框架就不介紹了，真要說說，估計得長篇大論了.....可以查閱相關資料進行詳細的了解）。
這些開源的爬蟲框架大都是把複雜的問題解決掉，然後封裝，在之後就是我們用的很簡單、方便，不必考慮那些url去重、**、執行緒池管理等等問題，當然建議看看原始碼，多想想他們的設計思想以及實現邏輯。
我們在以前專案中用的爬蟲框架是j**a語言的webmagic和python語言的pyspider。普通j**a爬蟲專案中都可以多多考慮webmagic和webcollector絕對夠用（反正用啥都得考慮動態js抓取，驗證碼識別等等那些反爬蟲機制，這一定是個持久戰，哈哈），上手簡單易擴充套件，注重業務開發就好。如果大型分布式、業務夠複雜、需求點夠多、資料夠龐大下的估計用哪個框架也得進行二次擴充套件了。所以選那個框架不必那麼糾結。
另外搞爬蟲不得不推薦python了，易學，語法簡單，乙個簡單的爬蟲程式可能半個小時就搞定了。雖然在除錯上很費時間，但是當有一定經驗了，很多問題就可以規避掉或者bug定位很快。當然也有痛點，但是這些痛點對於整個專案成本來說完全可以接受。
Scrapy框架簡單爬蟲demo
接著上一節的scrapy環境搭建，這次我們開始長征的第二步，如果第一步的還沒走，請出門右轉 scrapy爬蟲框架環境搭建 新建scrapy專案 專案名稱是scrapydemo scrapy startproject scrapydemo 然後回車，就會自動生成乙個專案骨架，如下圖 然後我們寫爬蟲的 ...
爬蟲框架對比（附 支援的資料庫）
構架技術 支援資料庫 優點缺點 github統計 crawlab golang vue redis mongodb 尚不支援蜘蛛版本控制 star 6.8k scrapydweb python flask vue sqlite mysql postgresql 漂亮的ui介面，內建的scrapy日誌...
Beanbun 簡單開放的 PHP 爬蟲框架
我希望有這樣乙個爬蟲框架 在簡單需求的情況下，可以用最少的 快速建立乙個功能完善的爬蟲 而且如果你願意，你可以對爬蟲進行你想要的任何修改。它要天然支援分布式，支援多程序 或執行緒 利用 composer，可以方便的建立起乙個功能強大的爬蟲。在對之前寫過的乙個爬蟲的功能不斷的刪減調整後，就有了目前的 ...