爬蟲基礎 XPath語法總結

2021-09-23 23:52:08 字數 2455 閱讀 6617

xpath (xml path language) 是一門在 xml 文件中查詢資訊的語言,可用來在 xml 文件中對元素和屬性進行遍歷。

w3school官方文件:

開源的xpath表示式編輯工具:xmlquire(xml格式檔案可用)

chrome外掛程式 xpath helper

firefox外掛程式 xpath checker

xpath 使用路徑表示式來選取 xml 文件中的節點或者節點集。這些路徑表示式和我們在常規的電腦檔案系統中看到的表示式非常相似。

下面列出了最常用的路徑表示式:

表示式描述

nodename

選取此節點的所有子節點。

/從根節點擊取。

//從匹配選擇的當前節點擊擇文件中的節點,而不考慮它們的位置。

.選取當前節點。

..選取當前節點的父節點。

@選取屬性。

在下面的**中,我們已列出了一些路徑表示式以及表示式的結果:

路徑表示式

結果bookstore

選取 bookstore 元素的所有子節點。

/bookstore

選取根元素 bookstore。注釋:假如路徑起始於正斜槓( / ),則此路徑始終代表到某元素的絕對路徑!

bookstore/book

選取屬於 bookstore 的子元素的所有 book 元素。

//book

選取所有 book 子元素,而不管它們在文件中的位置。

bookstore//book

選擇屬於 bookstore 元素的後代的所有 book 元素,而不管它們位於 bookstore 之下的什麼位置。

//@lang

選取名為 lang 的所有屬性。

謂語用來查詢某個特定的節點或者包含某個指定的值的節點,被嵌在方括號中。

在下面的**中,我們列出了帶有謂語的一些路徑表示式,以及表示式的結果:

路徑表示式

結果/bookstore/book[1]

選取屬於 bookstore 子元素的第乙個 book 元素。

/bookstore/book[last()]

選取屬於 bookstore 子元素的最後乙個 book 元素。

/bookstore/book[last()-1]

選取屬於 bookstore 子元素的倒數第二個 book 元素。

/bookstore/book[position()<3]

選取最前面的兩個屬於 bookstore 元素的子元素的 book 元素。

//title[@lang]

選取所有擁有名為 lang 的屬性的 title 元素。

//title[@lang=』eng』]

選取所有 title 元素,且這些元素擁有值為 eng 的 lang 屬性。

/bookstore/book[price>35.00]

選取 bookstore 元素的所有 book 元素,且其中的 price 元素的值須大於 35.00。

/bookstore/book[price>35.00]/title

選取 bookstore 元素中的 book 元素的所有 title 元素,且其中的 price 元素的值須大於 35.00。

xpath 萬用字元可用來選取未知的 xml 元素。

萬用字元描述

*匹配任何元素節點。

@*匹配任何屬性節點。

node()

匹配任何型別的節點。

在下面的**中,我們列出了一些路徑表示式,以及這些表示式的結果:

路徑表示式

結果/bookstore/*

選取 bookstore 元素的所有子元素。

//*選取文件中的所有元素。

html/node()/meta/@*

選擇html下面任意節點下的meta節點的所有屬性

//title[@*]

選取所有帶有屬性的 title 元素。

通過在路徑表示式中使用「|」運算子,您可以選取若干個路徑。

例項在下面的**中,我們列出了一些路徑表示式,以及這些表示式的結果:

路徑表示式

結果//book/title | //book/price

選取 book 元素的所有 title 和 price 元素。

//title | //price

選取文件中的所有 title 和 price 元素。

/bookstore/book/title | //price

選取屬於 bookstore 元素的 book 元素的所有 title 元素,以及文件中所有的 price 元素。

下面列出了可用在 xpath 表示式中的運算子:

這些就是xpath的語法內容,在運用到python抓取時要先轉換為xml。

爬蟲 xpath語法

使用 獲取整個頁面當中的元素,然後寫標籤名,然後再寫謂詞進行提取。比如 div class abc 和 的區別 代表只獲取直接子節點。獲取子孫節點。一般 用得比較多。當然也要視情況而定。contains 有時候某個屬性中包含了多個值,那麼可以使用contains函式。示例 如下 div contai...

XPath 語法總結

xpath 是一門在 xml 文件中查詢資訊的語言。xpath 可用來在 xml 文件中對元素和屬性進行遍歷。xpath 是 w3c xslt 標準的主要元素,並且 xquery 和 xpointer 都構建於 xpath 表達之上。因此,對 xpath 的理解是很多高階 xml 應用的基礎。xpa...

Xpath語法總結

xpath 使用路徑表示式來選取 xml 文件中的節點或者節點集。這些路徑表示式和我們在常規的電腦檔案系統中看到的表示式非常相似。在 xpath 中,有七種型別的節點 元素 屬性 文字 命名空間 處理指令 注釋以及文件節點 或稱為根節點 xml 文件是被作為節點樹來對待的。樹的根被稱為文件節點或者根...