本專題介紹了scrapy的框架原理，並用了5個例項由淺入深的進行了演示。還講到了scrapy的除錯技巧，對於入門scrapy爬蟲應該有一定的幫助。
對url的分析主要是找規律，應為開發**的開發者為了框架化或者說偷懶，一般同型別內容的url都有一定的規律，比如imdb.cn的**，url的規律簡直是太簡單了，作為第乙個爬蟲去爬這種**，是很容易入門的。
還有資料的儲存，多個爬蟲如何在乙個pipeline中將item資料儲存到多張表中，文章中也做了介紹，通常我們是將資料儲存到資料庫，我例子中使用的是mysql，也可以是其他的資料庫，比如mongodb什麼的。
最後對於爬蟲的除錯我專門做了圖例講解，希望對感興趣的朋友有些幫助，關於如何使用xpath、css、re我並沒有過多的說明，因為這些都有現成的教程，可以自己對比選擇使用，在合適的場景下使用合適的工具。
pyspider是國人開發的爬蟲框架，有比較友好的視覺化環境，感興趣的朋友可以嘗試下。
感興趣的朋友可以嘗試使用docker配置環境，對於專案組的話可以配置好環境打成映象，然後移植到另外的docker中，這樣可以保證環境的一致性以及開發效率。
有緣看到本文的朋友，若文中有謬誤的話，還請您不吝賜教，謝謝。
爬蟲之 scrapy 框架總結
寫在前面的話 最近重新學了一下scrapy框架，之前沒學好，現在總結一下 以便以後重灌不需要重新找資料 需要三個庫 lxml，twist，pywin32 一般前兩個都有 如果有問題輸入下面這句 1.items.py存放資料模型 三個方法最常用 注意啟用pipline，在setting.py中設定 2...
Scrapy爬蟲 二 爬蟲簡介
列幾個簡單的例子，看看就行 urllib庫 基於python3.5 encoding utf 8 import urllib.request def download data url response urllib.request.urlopen url print response.getcod...
scrapy爬蟲框架
作者經過幾周的python爬蟲實踐之後，深入學習了一下scrapy這個爬蟲框架，現將一些基本知識和 總結整理一下，以備後查。2.scrapy的命令列使用 這部分網上很多部落格都有總結，不需要背，理解會用主要的命令 startproject crawl fetch list genspider.即可，...