我是用anaconda安裝的scrapy
安裝完成，使用scrapy 建立爬蟲工程，之後把工程資料夾整個移動到ecipse，配置下run configure就可以執行了
初步了解了下xpath語法，會簡單地使用xpath摳取網頁裡面的內容
例子： //td[@class='hello']選取所有class標籤為hello的td節點
//td[1] 選取第乙個td節點
當然也可以巢狀搜尋
例子：parent = response.xpath('//td[@class="test"]')
child = parent.xpath('.//div[1]/text()')
記得使用extract()方法把結果轉換為list
學習了結合item和pipeline處理爬取到的資料
這個pipeline是要在setting文件裡面宣告的，前面是類名，後面是優先順序，很有趣
收工！
scrapy使用筆記
1.先裝python環境 2.安裝pip 3.使用pip安裝 pip install lxml 3.4.2 有報錯提示 考慮到是網路不穩定的問題，這時我們用國內的映象源來加速 用pip安裝依賴包時預設訪問，但是經常出現不穩定以及訪問速度非常慢的情況，國內廠商提供的pipy映象目前可用的有 參考文章 ...
Scrapy框架 使用筆記
本文記錄scrapy基本使用方法，不涉及框架底層原理說明。建立專案 scrapy startproject 進入專案 cd 建立爬蟲 scrapy genspider 爬蟲名 com 爬取域 生成檔案 scrapy crawl o json 生成某種型別的檔案 執行爬蟲 scrapy crawl 列...
Vim 使用筆記
set hlsearch set nohlsearch 搜尋後清除上次的加亮 nohl nohlsearch 拷貝 很有用的一句話，規定了格式選項，讓它換行不自動空格 set formatoptions tcrqn set fo r set noautoindent 再 shift insert 正...