例項學習爬取豆瓣網TOP250資料

開發環境：（windows）eclipse+pydev

**：

from lxml import etree        #解析提取資料
import requests               #請求網頁獲取網頁資料
import csv                    #儲存資料
fp = open('d:\pyproject\douban.csv','wt',newline='',encoding='utf-8')      #建立csv檔案
writer = csv.writer(fp)
writer.writerow(('name','url','author','publisher','date','price','rate','comment'))  #寫入表頭資訊，即第一行
urls = [''.format(str(i)) for i in range(0,250,25)]   #構建urls
for url in urls:                     #迴圈url，先抓大，後抓小（！！！重要，下面詳解）
html = requests.get(url,headers = headers)
selector = etree.html(html.text)
infos = selector.xpath('//tr[@class="item"]')
for info in infos:
name = info.xpath('td/div/a/@title')
url = info.xpath('td/div/a/@href')
book_infos = info.xpath('td/p/text()')[0]
author = book_infos.split('/')[0]
publisher =book_infos.split('/')[-3]
date = book_infos.split('/')[-2]
price = book_infos.split('/')[-1]
rate = info.xpath('td/div/span[2]/text()')
comments = info.xpath('td/p/span/text()')
comment = comments[0] if len(comments) != 0 else ''
writer.writerow((name,url,author,publisher,date,price,rate,comment))   #寫入資料
fp.close()                          #關閉csv檔案，勿忘

成果展示：

#亂碼錯誤，用記事本開啟，另存為utf-8檔案可解決

本例主要學習csv庫的使用與資料批量抓取方式（即先抓大，後抓小，尋找迴圈點）

csv庫建立csv檔案及寫入資料方式：

import csv
fp = ('c://users/lp/desktop/text.csv','w+')
writer = csv.writer(fp)
writer.writerow('id','name')
writer.writerow('1','oct')
writer.writerow('2','nov')                #寫入行
fp.close()

資料批量抓取：

通過類似於beautifulsoup中的selector()刪除謂語部分不可行，思路應為「先抓大，後抓小，尋找迴圈點」（手寫，非copy xpath）

開啟chrome瀏覽器進行「檢查」，通過「三角形符號」摺疊元素，找到完整的資訊標籤，如下圖

（selector()獲取資料集中最大區域，遵循路徑表示式，第乙個字串前置）