pip install scrapy爬蟲，全文檢索查詢關鍵字scrapy startproject stock//建立資料夾
scrapy genspider stock ***xx(網域名稱) //建立爬蟲py檔案
scrapy crawl stock -o ***.json// spider中必須包含stock.py檔案
scrapy crawl stock//執行
scrapy -h //檢視scrapy命令，包含除錯視窗
scrapy.cfg: 專案的配置檔案stock/: 該項目的python模組。在此放入**（核心）
stock/items.py: 專案中的item檔案，建立乙個物件，scrapy.field(serializer=str)建立物件成員，在spiders中使用的資料，時候後傳遞資料到piplines（需要配置settings開啟）
stock/pipelines.py: 專案中的pipelines檔案.，每乙個爬蟲爬取後儲存的item物件都會在piplines中呼叫
stock/settings.py: 專案的設定檔案,scrapy中介軟體啟用，需要配置setting.py檔案，# enable or disable ********** middlewares
stock/spiders/: 放置spider**的目錄. （放爬蟲的地方） ，scrapy list 可以檢視爬蟲檔案
參考：
Python爬蟲 scrapy框架
開源的,對平台的爬蟲框架 舊版本 需要預先定義所需欄位 class myitem scrapy.item url scrapy.field 再將所需欄位填充 class myspier scrapy.spider defparse self,response return sudo apt inst...
python爬蟲scrapy框架
安裝 pip install scrapy startproject 建立乙個新專案 genspider 根據模板生成乙個新爬蟲 crawl 執行爬蟲 shell 啟動互動式抓取控制台 進入專案目錄 scrapy startproject crawlertest project name cd cr...
Python爬蟲 Scrapy基礎
依照順序安裝如下依賴庫，如下 wheel pip install wheel lxml pyopenssl twisted pywin32 220 scrapy pip install scrapy 安裝成功後，通過在cmd的指定路徑下輸入 scrapy startproject hello可以在當...