執行平台：windows
python版本：python3.x
一、scarpy 簡介
scrapy是乙個為了爬取**資料提取結構性資料而編寫的應用框架，可以應用於資料探勘，資訊處理或儲存歷史資料等一些列的程式中。scrapy最初就是為了網路爬取而設計的。
學習scrapy，它能我們更好的完成爬蟲任務，自己寫python爬蟲程式好比孤軍奮戰，而使用了scrapy就好比手底下有了千軍萬馬。scrapy可以起到事半功倍(甚至好幾倍*.*)的效果。所以，學習scrapy也就顯得很有必要了。
二、scrapy安裝
1、直接在dos中使用命令『pip3 install scrapy』，可能會報多種錯誤，例如圖示，就是本人在安裝過程中碰到的錯誤
2、解決方法
查閱了很多網上的資料，是因為直接安裝scrapy時，好多庫在windows上並沒有安裝，所以只能一步步安裝第三方庫了，還好python有很多編譯好的第三方庫：
安裝scrapy需要的第三方庫lxml、twisted、scrapy
（1）首先在cmd中輸入python，檢視自己電腦對應的python版本
圖上可以看到我自己電腦上安裝的是python3.6.0
（4）依次執行下列命令
這樣scrapy的安裝就完成了
至此，大功告成，我們可以愉快的使用scrapy了。
注意：在cmd中輸入scrapy可以檢視是否安裝完成，很好高興，我一次安裝成功了，如果有warning，檢視是那個庫沒有裝，然後使用pip3 install xx（庫名）安裝即可
安裝scrapy 爬蟲框架
安裝scrapy 爬蟲框架 個人根據學習需要，在windows搭建scrapy爬蟲框架，搭建過程種遇到個別問題，共享出來作為記錄。1.安裝python 2.7 1.2配置環境變數 以下內容新增到path中 c python27 c python27 scripts 開啟cmd執行如下內容 c pyt...
安裝 python 爬蟲框架 Scrapy
官方安裝說明文件 一 scrapy 需要以下依賴 二 一般來說，你可以通過以下命令直接安裝 scrapy 依賴會被自動安裝 pip3 install scrapy注 關於pip 和 pip3 的區別，請看 這裡 三 乙個常見的問題是 安裝 twisted 時，會報 microsoft visual ...
scrapy爬蟲框架
作者經過幾周的python爬蟲實踐之後，深入學習了一下scrapy這個爬蟲框架，現將一些基本知識和 總結整理一下，以備後查。2.scrapy的命令列使用 這部分網上很多部落格都有總結，不需要背，理解會用主要的命令 startproject crawl fetch list genspider.即可，...