1、流程框架
2、在命令列中輸入scrapy，會有scrapy常見命令引數
在命令中輸入scrapy startproject quote建立乙個叫quote的專案
cd到建立好的專案目錄中，然後執行scrapy genspider quotes quotes.toscrape.com，建立spider，指定spider名稱--->quotes，
指定spider抓取的**-->quotes.toscrape.com
這是乙個scrapy框架預設目錄結構
scrapy.cfg --> 配置檔案，指定settings配置檔案路徑
quote/ ---> 該項目的python模組，之後您將在此加入**。
quote/items.py --> 用來儲存資料介面
quote/middlewares.py --> 儲存中介軟體
quote/pipelines.py --> 專案中的pipelines檔案
quote/settings.py --> 定義一些配置資訊
quote/spiders/ --> 放置spider**的目錄
3、在命令列中輸入scrapy crawl quotes，會輸出一些配置資訊
scrapy還有乙個命令列除錯模式，直接在命令列執行scrapy shell quotes.toscrape.com
extract_first是輸入第乙個匹配的，是字串，extract是匹配有多個結果的，輸出列表型別
執行scrapy crawl quotes -o quotes.json可以保持到本地檔案，還支援quotes.jl .csv ，還有支援向ftp傳輸資料
scrapy crawl -o
使用-o是可以指定保持需要的檔案格式，這個保持方法scrapy都已經整合好了
Scrapy框架基礎（一）
1.scrapy的概念 scrapy是乙個python編寫的開源網路爬蟲框架。它是乙個被設計用於爬取網路資料 提取結構效能資料的框架。2.scrapy框架的作用 少量的 就能夠實現快速的抓取 3.scrapy的工作流程 1.爬蟲中的起始url構造成request物件 爬蟲中介軟體 引擎 排程器 4....
Scrapy框架基礎（三）
7.scrapy管道的使用 7.1 pipeline中常用的方法 open spider self,spider 在爬蟲開啟的時候僅執行一次 close spider self,spider 在爬蟲關閉的時候僅執行一次 7.2 在settings中能夠開啟多個管道，為什麼需要開啟多個？7.3 pip...
scrapy框架基本使用
進入工程目錄 建立爬蟲檔案 編寫爬蟲檔案 執行工程 allow domains 允許的網域名稱 parse self,response scrapy工程預設是遵守robots協議的，需要在配置檔案中進行操作。基於管道 3.將在爬蟲檔案中解析的資料儲存封裝到item物件中 4.將儲存了解析資料的ite...