安裝
linux 和 mac 直接 pip install scrapy 就行
windows 安裝步驟
a. pip3 install wheel
//www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
17.1.0‑cp35‑cp35m‑win_amd64.whl
d. pip3 install scrapy
//sourceforge.net/projects/pywin32/files/
scrapy是乙個為了爬取**資料，提取結構性資料而編寫的應用框架。 其可以應用在資料探勘，資訊處理或儲存歷史資料等一系列的程式中。
其最初是為了頁面抓取 (更確切來說, 網路抓取 )所設計的， 也可以應用在獲取api所返回的資料(例如 amazon associates web services ) 或者通用的網路爬蟲。scrapy用途廣泛，可以用於資料探勘、監測和自動化測試。
scrapy主要包括了以下元件：
scrapy執行流程大概如下：
引擎從排程器中取出乙個鏈結(url)用於接下來的抓取
爬蟲解析response
解析出實體（item）,則交給實體管道進行進一步的處理
解析出的是鏈結（url）,則把url交給排程器等待抓取
1. 基本命令12
3456
78910
1112
1314
1516
171.scrapy startproject 專案名稱
-在當前目錄中建立中建立乙個專案檔案（類似於django）
2.scrapy genspider [-t template]
-建立爬蟲應用
如：
scrapy gensipider-t basic oldboy oldboy.com
scrapy gensipider-t xmlfeed autohome autohome.com.cn
ps:
檢視所有命令：scrapy gensipider-l
檢視模板命令：scrapy gensipider-d 模板名稱
3.scrapylist
-展示爬蟲應用列表
4.scrapy crawl 爬蟲應用名稱
-執行單獨爬蟲應用
Scrapy 安裝及使用
目前只支援python2 pip install scrapy公升級scrapy pip install upgrade scrapy和scrapy打交道時，你所遵循得最通用的流程是ur im流程。進入你想儲存專案的目錄 scrapy startproject tutorialtutorial sc...
Mac下安裝scrapy詳細流程（包含坑及解決）
本人使用pycharm安裝的，中間也是一路險阻 1.使用pip install scrapy 無法安裝 如果直接能安裝好那就沒問題了 檢視原因是twisted這個庫安裝失敗。解決方法1 失敗了，因為本來就是這個庫安裝失敗，單獨安裝也沒成功 pip install twisted解決方案2 找庫檔案，...
Scrapy框架的安裝及使用
步驟1 環境準備 右擊ubuntu作業系統桌面，從彈出選單中選擇 open in terminal 命令 開啟終端。通過 cd home 切換到home目錄下。ls 檢視該目錄下的所有內容。圖1 切換目錄 mkdir scrapy 在home目錄下建立scrapy資料夾。圖2 建立資料夾 步驟2 s...