scrapy是乙個為了爬取**資料，提取結構性資料而編寫的應用框架。 可以應用在包括資料探勘，資訊處理或儲存歷史資料等
scrapy的安裝方式有多種，本身所需要的依賴的庫也比較多，由於同眾人一樣用的主流3.幾版本的py和windows平台，所以簡介下在windows平台的安裝過程
1.如果本身是在anaconda整合環境下可以直接執行以下命令安裝scrapy
conda install scrapy 即可完成安裝
如果不能正確安裝或者其他問題沒有安裝anaconda可以看下邊的
2.依次安裝lxml，pyopenssl，twisted，pywin32，scrapy，wheel，
wheel：直接輸入 pip install whell即可安裝
scrapy：同樣直接輸入 pip installscrapy即可安裝
全部安裝後命令提示符執行scrapy，以下就是安裝好的介面。
介紹下簡單的使用方法
儲存，未完待續
Python 爬蟲 關於requests庫
1 requests 有try except模式，利用r.raise for status 函式引發except機制 2 requests.get url,kwargs 裡面的引數有headers 定製http頭 kv r requests.get url,headers kv params url...
Python爬蟲 關於scrapy模組的請求頭
開發環境python2.7 scrapy 1.1.2 測試請求頭 瀏覽器請求頭大全 命令列執行，新建爬蟲 scrapy startproject myspider cd myspider scrapy genspider scrapy spider httpbin.org我們通過對 的請求，檢視本次...
關於python爬蟲中的細節問題
關於python爬蟲中的細節問題 當我學習python爬蟲用到beautifulsoup的時候我自己注意到的乙個小問題 html this is a good man soup beautifulsoup html,lxml print soup.p.prettify print soup.p.sp...