這裡我們的目標是爬取全國所有城市的新房和二手房的資訊，所以這裡我們的目標**就選用了房天下**，網域名稱：
首先先分析網頁，觀察新房和舊房之間的url位址規律
這裡以城市安慶為例：因為爬取的數量比較大，所以使用scrapy_redis組建成分布式爬蟲,但是要想執行乙個分布式爬蟲，首先得能夠在單機爬蟲上執行起來，所以我們先在scarpy框架上建立乙個普通的爬蟲，繼承的類為scrapy.spider，start_url就以全國城市所有初始鏈結的網域名稱**:新增鏈結描述
建立之後的目錄為：
這樣乙個初始的模板就完成了。
爬蟲 分布式爬蟲
爬蟲的本質 很多搞爬蟲的總愛吹噓分布式爬蟲，彷彿只有分布式才有逼格，不是分布式簡直不配叫爬蟲，這是一種很膚淺的思想。分布式只是提高爬蟲功能和效率的乙個環節而已，它從來不是爬蟲的本質東西。爬蟲的本質是網路請求和資料處理，如何穩定地訪問網頁拿到資料，如何精準地提取出高質量的資料才是核心問題。分布式爬蟲只...
分布式爬蟲之celery
以爬douban 為例 首先啟動redis，新建檔案crawl douban.py import requests from bs4 import beautifulsoup import time from celery import celery import redis from config...
分布式爬蟲
乙個基於scrapy redis的分布式爬蟲模板，在scrapy redis自帶的example的基礎上進行修改，新增在實際爬取過程中大部分爬蟲可能用到的功能，使的構建分布式爬蟲更加的簡單。scrapy redis windows ubuntu sudo apt get install redis ...