眾推平台架構 分布式爬蟲

經過新一輪的投票，專案的範圍已經基本確定。

大家決定 全力以付，集中攻克「分布式爬蟲」。

使用佇列，即生產者，消費都模式。

由於生產者將規則生成到佇列，然後由爬蟲集群（消費者）到佇列中取規則，然後按優先順序等規則進行爬取。

分布式爬蟲架構3，參考的cola是乙個分布式的爬蟲框架，使用者只需編寫幾個特定的函式，而無需關注分布式執行的細節。任務會自動分配到多台機器上，整個過程對使用者是透明的。

基於cola實現的爬蟲位於contrib/目錄下。目前實現了四個爬蟲：

wiki和weibo之前有所提及。主要說明generic和weibosearch。

設計方式參考hadoop等分布式運算架構。

控制結點類似於hadoop的namenode，工作結點類似於datanode。儲存可以根據**適配到db或者mongo集群等。

群號 194338168

想深度參與的加，不想參與的就別往裡進了，現在需要的主要是開發和文件兩類人。群會定期往出清人！ （專案會開源出來）

眾推平台架構 分布式爬蟲

經過新一輪的投票，專案的範圍已經基本確定。大家決定 全力以付，集中攻克 分布式爬蟲 使用佇列，即生產者，消費都模式。由於生產者將規則生成到佇列，然後由爬蟲集群 消費者 到佇列中取規則，然後按優先順序等規則進行爬取。分布式爬蟲架構3，參考的cola是乙個分布式的爬蟲框架，使用者只需編寫幾個特定的函式，...

python分布式架構 分布式架構

1.分布式架構 採用centos mongodb windows2012 python redis進行分布式架構搭建，mongodb的框架最核心的設計就是 mongodb和mapreduce。mongodb為海量的資料提供了儲存，則mapreduce為海量的資料提供了計算，windows2012作為...

爬蟲 分布式爬蟲

爬蟲的本質 很多搞爬蟲的總愛吹噓分布式爬蟲，彷彿只有分布式才有逼格，不是分布式簡直不配叫爬蟲，這是一種很膚淺的思想。分布式只是提高爬蟲功能和效率的乙個環節而已，它從來不是爬蟲的本質東西。爬蟲的本質是網路請求和資料處理，如何穩定地訪問網頁拿到資料，如何精準地提取出高質量的資料才是核心問題。分布式爬蟲只...