最近剛開始做關於scrapy的爬蟲。由於個人向來偏向於借鑑前輩的經驗以及不太具有系統性和嚴謹性，以至於在學習scrapy的過程中遇到了不小的麻煩，走了彎路。由此在這裡寫下自己的血淚史，做乙份記錄。
安裝scrapy
為了更好地說明之後的步驟，在這裡首先給出scrapy的中文教程：
；相對的，英文教程：
；中文文件為版本0.24的說明，英文教程為當前最新版本的說明
安裝scrapy是個相對比較複雜的過程，首先需要安裝python2.7；之後安裝，setuptools，zope.inte***ce，twisted，w3lib，libxml2，pyopenssl，最後安裝scrapy。網上有前輩寫下了依次安裝的過程，以及驗證過程。但這樣做比較麻煩，在上方給出的教程中有簡化的安裝方法。
這裡簡要說明在windows環境下的安裝方法：（以下所有要用的安裝包已分享到網盤，
1、從 上安裝
python 2.7。
2、新增環境變化：點開計算機；選單欄第二行「系統屬性」；左邊「高階系統設定」，「高階」中最下方「環境變數」；隨便上方或者下方新建path路徑（如果已有該變數，則之間編輯在分號後新增），值的一行填入的是（c:\python2.7\;c:\python2.7\scripts\;）；當然，這裡對應的是python的安裝路徑，你不想安裝在c盤，在其他位置也是可以的，例如我在d盤下的安裝也是完全沒有問題。
3、安裝之後啟動cmd命令列（開始選單直接在搜尋欄中輸入cmd回車即可），輸入「python –version」即可檢視python的版本號
如果顯示python為未知命令，請務必檢查你的環境變數是不是設定對了……
4、從 安裝 pywin32
5、從 安裝 pip。細心的朋友在這裡會發現，第一步安裝的python包裡已經包含了setuptools以及pip。這裡其實就不用重複安裝了，但如果你是之前安裝過python的同志，有可能就需要另外再安裝pip。雖然
再回到這裡，雖然不需要再重複安裝，但以上安裝包裡帶的pip是舊版本的，需要公升級，公升級方法：開啟cmd命令列，輸入「python –m pip install –upgrade pip」。
如果發現缺少特定檔案上述方法出現問題無法安裝，這裡有前輩的乙份安裝教程
用此方法一步步進行也能安裝scrapy，不過版本比較久，選擇scrapy時，自己選擇最新版本即可。網盤中給出了0.24版本和1.0版本。建議安裝0.24版本，與上方的0.24版本教程相配。要替換直接覆蓋替換，不需要解除安裝（簡直坑爹，我對從1.0.5版本還原到0.24版本還想了很久該怎麼解除安裝）。
scrapy 安裝 安裝scrapy時出錯
python3環境下安裝scrapy 環境 win7,win10 python 3.5.2 1.首先開啟anaconda prompt 執行命令 pip install scrapy 若未出錯，表示安裝成功，鍵入以下命令測試即可 python 進入python環境 再鍵入 import scrapy...
Scrapy 學習筆記 Mac OS 上安裝
我的mac os 上的python是2.7的。先安裝pip 然後，在終端中執行 python get pip.py 或者 sudo python get pip.py因為我直接安裝 scrapy，報錯 對six庫沒有操作許可權。對我來說靠譜的解決辦法是 通過虛擬環境解決 sudo pip insta...
scrapy（一）scrapy 安裝問題
pip install scrapy 注 若出現以下安裝錯誤 building twisted.test.raiser extension error microsoft visual c 14.0 is required.get it with microsoft visual c build t...