前面學習了scrapy基本操作，基本概念，以及整體的框架等等，還學習了命令列的操作，這些都是基礎知識，才能更進一步操作，才能理解後面的例子的內容。不過，剛剛學習這些概念，感覺總是有一點模糊，總覺得自己與實踐之間有一層薄紗。
再次來強調一次，電腦科學是一門實踐的科學。如果乙個人沒有編寫過程式，他就說他是計算機大師級的人物，千萬不要相信。因為沒有編寫程式，怎麼會理解程式的開發過程，怎麼樣學會處理在除錯程式過程中的**錯誤。因此，很多大公司面試都是讓面試人員手寫一段**，這樣就可以區分應聘人員是否寫過**，如果沒有寫過**，基本上手寫不出**的。如果對**經常編寫，手寫一段**是不費吹灰之力。
所以我們需要按下面的步驟來一步一步地操作，當然你需要在你的計算上操作，也許會遇到不一樣的問題，比如我這裡由於失誤，就導致這樣的提示出錯：
爬蟲 使用ItemLoader維護item
在item的filed 中設定引數函式，可以用來預處理item欄位的資料，另一方面也方便程式 的管理和重用 item中 from scrapy.loader.processors import mapcompose,takefirst import scrapy from scrapy.loader...
爬蟲日記 20 使用Pipeline模組寫入檔案
前面學習了item物件，知道怎麼樣把資料從一些散亂的網頁裡收集到，變成我們需要的結構化資料，這是乙個偉大的進步，從無序變成有序。其實大自然往往是把有序變成無序，比如一片菜園，如果無人打理它，經歷一段時間之後就會成雜草眾生，這是大自然的選擇。但是我們人類往往是反自然而存在的，選擇了種各種糧食，維護各種...
爬蟲日記 4 urllib的基本使用
前面已經看到urllib庫的魔力，了了數行就可以把網頁的內容抓取下來，為了以後打下堅實的基礎，在本文裡對urllib庫更進一步了解，學會它的基本使用方法。urllib 是乙個 python 內建包，不需要額外安裝即可使用，包裡面包含了以下幾個用來處理 url 的模組 urllib.request，用...