scrapy在爬蟲開發領域是非常不錯的一款框架，如果要從事爬蟲開發那麼這款框架一定要非常熟悉，儘管在實際開發中可能用不上，但是其中的架構思想也能讓自己寫的爬蟲質量有不一般的提公升。
scrapy框架應該掌握的幾條命令：
cmd命令列介面執行 scrapy shell [url]
該條命令常用於scrapy開發前的測試，如：scrapy shell
scrapy startproject [name]
該條命令用於建立乙個scrapy框架開發的專案檔案，後接專案名
scrapy genspider [name] [domain]
建立專案後進入專案資料夾，執行該命令快速建立爬蟲程式，後接爬蟲名、爬去站點的網域名稱，將在spiders資料夾下生成乙個基本框架的爬蟲程式。
scrapy crawl [name] -o [file]
該條命令是執行name名字的爬蟲，並將資料儲存為file，注意file是帶格式的檔名，目前支援json、json lines、csv、xml、pickle、marshal。
上面命令是使用頻率最高的命令，記住他們可以事半功倍。
scrapy的框架結構
其工作過程：
引擎將請求**給排程（排程實現了優先順序、去重等策略）
scrapy框架再我們自定義開發中，具有很好的參考作用，其中高可擴充套件性、低耦合值得深入學習。
同時本月的寫作主題是scrapy框架，由淺入深、橫向整合，力求讓讀者形成完整的知識框架。
爬蟲 建立scrapy框架的專案
進入命令管理器 通過命令scrapy startproject spider3 進入spider3專案中 執行scrapy genspider university qianmu.org scrapy genspider 爬蟲的名字name 爬蟲的網域名稱 通過pycharm軟體匯入此專案 scra...
scrapy框架建立專案shell指令碼
建立scrapy專案shell指令碼 1.scrapy startproject 專案名 專案名如果不符合要求，scrapy本身會報異常，建立失敗，為了增加效率，提前正則驗證 2.cd 專案名 3.scrapy genspider 爬蟲名 網域名稱 或 規則爬蟲 scrapy genspider t...
建立scrapy專案
1.windows r開啟 cmd命令列工具，cd desktop 進入到桌面目錄 2.輸入建立專案命令 scrapy startproject 專案名 3.cd 到 專案目錄下 cd專案名 4.執行建立爬蟲的命令 scrapy genspider 爬蟲名 爬蟲起始 5.使用pycharm開啟專案，...