scrapy框架的命令介紹
scrapy命令分為兩種：全域性命令和專案命令
全域性命令：在**都能使用。
專案命令：必須在爬蟲專案裡才能使用
全域性命令
專案命令
startproject 建立乙個爬蟲專案 然後進入框架就使用的是專案命令
然後再執行scrapy -h
比全域性命令多了很多命令
scrapy命令使用
檢視所有命令
scrapy -h
檢視幫助資訊
scrapy --help
檢視版本資訊
scrapy version
scrapy shell
檢視**
response.url
檢視內部命令
新建乙個專案框架
scrapy startproject spider_name
建立爬蟲類（spider），乙個工程中可以存在多個spider，但是名字必須唯一
scrapy genspider name domain
檢視當前專案內有多少爬蟲
scrapy list
view使用瀏覽器開啟網頁
scrapy view
爬取我愛我家樓盤資訊
**：在命令列編寫下面命令，建立專案fangdemo
scrapy startproject fangdemo
建立爬蟲命令：
scrapy genspider fang fang.5i5j.com
爬蟲名網域名稱
執行命令 scrapy crawl fang
Scrapy框架的建立
pip install scrapy i trusted host pypi.douban.com pip install pypiwin32 i trusted host pypi.douban.com 需要在命令列中進行,首先進入要建立工程的目錄中,執行如下 scrapy startprojec...
爬蟲 建立scrapy框架的專案
進入命令管理器 通過命令scrapy startproject spider3 進入spider3專案中 執行scrapy genspider university qianmu.org scrapy genspider 爬蟲的名字name 爬蟲的網域名稱 通過pycharm軟體匯入此專案 scra...
scrapy框架基本使用
進入工程目錄 建立爬蟲檔案 編寫爬蟲檔案 執行工程 allow domains 允許的網域名稱 parse self,response scrapy工程預設是遵守robots協議的，需要在配置檔案中進行操作。基於管道 3.將在爬蟲檔案中解析的資料儲存封裝到item物件中 4.將儲存了解析資料的ite...