網路爬蟲之網頁資料解析（XPath）

xpath定義

xpath表示式

lxml庫

xpath案例

引入有人說，我正則用的不好，處理html文件很累，有沒有其他的方法？

有！那就是xpath，我們可以先將網路獲取的string型別資料轉換成 html/xml文件，然後用 xpath 查詢 html/xml 節點或元素。

什麼是xml

大家都知道html，那xml又是什麼呢？

**：[外鏈轉存失敗,源站可能有防盜煉機制,建議將儲存下來直接上傳(img-vuerznsf-1590634079149)(c:\users\王利欽\desktop\爬蟲總結\xml**1.jpg)]

[外鏈轉存失敗,源站可能有防盜煉機制,建議將儲存下來直接上傳(img-0pxx1cj1-1590634079153)(c:\users\王利欽\desktop\爬蟲總結\xml**2.jpg)]

xml的節點關係

父、子、同胞、先輩、後代

xpath定義

xpath (xml path language) 是一門在 xml 文件中查詢資訊的語言，可用來在 xml 文件中對元素和屬性進行遍歷。

xpath表示式

lxml庫

定義lxml資料轉換

'''#利用etree.html，將string字串解析為html文件

html = etree.html(

str)

result = etree.tostring(html)

(result.decode(

'utf-8'))

所得資料

'''

lxml讀取檔案

醉臥沙場君莫笑，古來征戰幾人回兩岸猿聲啼不住，輕舟已過萬重山一騎紅塵妃子笑，無人知是荔枝來停車坐愛楓林晚，霜葉紅於二月花商女不知亡國恨，隔江猶唱後庭花李白君不見黃河之水天上來，奔流到海不復回李白乘舟將欲行，忽聞岸上踏歌聲桃花潭水深千尺，不及汪倫送我情雷軍356893 are you ok 會飛的豬

xpath具體用法

'''html = etree.html(data)

result = html.xpath(

'//li//span'

)print

(result[0]

.text)

獲取< li >標籤下的< a >標籤的所有class

# 獲取 標籤下的標籤裡的所有 class
from lxml import etree
html = etree.parse(
'hello.html'
)result = html.xpath(
'//li/a//@class'
)print
(result)

獲取最後乙個< li >的< a >的href

from lxml import etree
xml = etree.parse(
'./hello.html'
)result = xml.xpath(
'//li[last()]/a/@href'
)print
(result)

獲取倒數第二個元素的內容

from lxml import etree
html = etree.parse(
'hello.html'
)result = html.xpath(
'//li[last()-1]/a'
)print
(result[0]
.text)
print
(result)

獲取class值為bold的標籤名

# 獲取 class 值為 bold 的標籤名
from lxml import etree
html = etree.parse(
'hello.html'
)result = html.xpath(
'//*[@class="bold"]'
)# tag方法可以獲取標籤名
print
(result[0]
.tag)
print
(result[0]
.text)

條件使用

xpath案例

import requests
from lxml import etree
url1 =
''url =
'list_%d.html'
if __name__ ==
'__main__'
:    fp =
open
('./duanzi.csv'
,mode =
'a',encoding=
'utf-8'
)for i in
range(1
,101):
if i ==1:
url_duanzi = url1
else
:            url_duanzi = url%
(i)        response = requests.get(url_duanzi)
response.encoding =
'gbk'
content = response.text
html = etree.html(content)
result = html.xpath(
'//ul[@class="piclist longlist"]/li'
)for li in result:
try:
title = li.xpath(
'.//h4/a/b/text()')[
0]content = li.xpath(
'.//div[@class="f18 mb20"]/text()')[
0].strip(
).strip(
'\n'
)                info =
''.join(li.xpath(
'.//div[@class="ft"]/span//text()')[
1:])
fp.write(
'%s\t%s\t%s\n'
%(title,content,info)
)except exception as e:
# 異常儲存，第二天，分析，單獨爬取。
pass
print
('第%d頁內容儲存成功！'
%(i)
)    fp.close(
)# ！！！缺少異常捕獲

網路爬蟲之網頁資料解析（XPath）

網路爬蟲之網頁資料解析（正則re）

爬蟲之網頁資料提取

網頁資料抓取爬蟲

網路爬蟲之網頁資料解析（XPath）

網路爬蟲之網頁資料解析（正則re）

爬蟲之網頁資料提取

網頁資料抓取 爬蟲

相關推薦

網頁資料抓取爬蟲