之前我們都是使用htmlagilitypack類庫來進行頁面的爬取，今天我們使用乙個爬蟲框架。
框架名稱：clawler 參考位址
設計圖我們通過htmlagilitypack 爬取優酷電影名的例子進行說明。
當前例子是很簡單的單頁面的爬取， 只爬取頁面上的幾個固定位置的引數內容。
我們首先來說明一下，爬蟲框架的使用。框架因為定義好了四個操作流程，所以編碼人員在實際過程中只要大概了解框架的使用原理即可上手操作。
使用者的一般使用，採用最基本的方式。只要關心倆個類，乙個是當前pageprocesser 頁面的處理邏輯，乙個是pipeline爬取的資料的儲存。
通過分析，我們發現一般的爬蟲程式大部分內容無非也就是在梳理這倆個東西。
在框架中我們不需要關心網頁的排程內容，只需要關心我們需要爬取什麼內容（爬取的邏輯）和資料的儲存（管道）。
放**如下：
public class youkupageprocessor : basepageprocessor
");}
var results = new youku()
;// 以自定義key存入page物件中供pipeline呼叫
page.addresultitem("videoresult", results);}}
/// /// 優酷爬蟲管道
///
public class youkupipeline : basepipeline
}
/// /// 定義處理器和管道
///
public static void custmizeprocessorandpipeline()
爬蟲（3）爬取資料再處理
上次我們爬取了1960年世界的gdp 但是還是有一些資料需要去除的，比如空，還有有空格的地方，還有廣告位等等，這裡我們去除這些東西 from selenium import webdriver from bs4 import beautifulsoup driver webdriver.chrome...
Scrapy爬蟲框架 二 匯出爬取結果
功能描述 爬取 豆瓣 電影 top 250,爬取內容 電影標題，評分人數，評分 編輯 items.py 檔案 coding utf 8 import scrapy class doubanmovieitem scrapy.item 排名 ranking scrapy.field 電影名稱 title...
爬蟲通用爬取框架 try except的運用
爬蟲通用爬取框架 try except的運用 這裡可以顯示錯誤的情況 def gethtmltext url try r requests.get url,timeout 30 r.raise for status return r.text except exception as e print ...