一. scrapy環境的安裝
1. scrapy各平台支援情況
除了python3在windows下不支援外，其餘（linux，mac）均支援
2. 安裝miniconda
(1)建議使用python2，用miniconda安裝scrapy
(2)miniconda時python環境管理工具，是anaconda的子集
(3)安裝miniconda（必須要求已經安裝了python）
檢視是否已經安裝miniconda：進入終端，命令conda–version，檢視是否安裝miniconda，如果顯示版本號，則已經安裝成功了
命令：ls，如果miniconda的安裝包變成綠色則表示具有安裝許可權了。
命令：ls –lh，檢視所有許可權。
命令：./miniconda…，執行miniconda，然後回車，一直回車，最後跳轉，yes，然後會詢問安裝位置，直接回車就好，然後繼續yes
然後重啟終端，命令：conda –version，就可以檢視到當前的miniconda的版本
(4) 使用miniconda
建立乙個python環境，命令：condacreat –n name python=2,說明-n是n是名字的意思，name是自己取的乙個名字，python=2是你想要建立的版本型號
安裝依賴軟體，命令：condainstall –n env_name beautifulsoup4 scrapy pymongo flask
啟用環境，命令：sourceactivate env_name,每次使用自己建立的python環境時，都需要使用該條指令
檢視miniconda管理的所有python環境，命令：condaenv list
1 scrapy框架及基本命令
scrapy h 檢視幫助 執行單個 不依賴專案的爬蟲檔案在cmd裡用runspider.檔案 version 檢視版本資訊 重點 startproject 檔名 新建專案 genspider l 展示爬蟲模板 genspider t 模板 名稱 目標 網域名稱 建立爬蟲 nolog 不顯示日誌資訊...
scrapy 爬蟲入門（1）
pip install scrapy 就是這麼簡單 scrapy startproject words 會建立乙個words的專案目錄結構 words scrapy.cfg 專案的配置檔案 words 專案 init py items.py 專案的item檔案 pipelines.py 專案的pip...
Scrapy爬蟲筆記 1
1 安裝 使用pip install scrapy 假如使用了fiddler作為 伺服器進行除錯分析，為了避免該軟體的影響 開啟fiddler，進入 tools fiddler options connections 將 act as system proxy on startup 和 monito...