Chrome複製的xpath抓取為空的問題

2021-08-20 10:40:42 字數 818 閱讀 1907

解決辦法:去掉xpath中的tbody即可。

原因:瀏覽器複製的xpath會自動優化,自己加上tbody,其實網頁源**裡是沒有的。

貼個例子

import requests

from lxml import etree

#豆瓣圖書排行**獲取圖書的名字

url=''

r=requests.get(url,headers=header).content

#print(r)#cookies=cookies

html=etree.html(r)

print(html)

#xpath 是從chrome 獲得的 最後的@title 自己加的 ,獲取圖書的標題

#ids=html.xpath('//tr[@class="item"]')

#ids=html.xpath('//tr[@class="item"]/td/div/a/@title')

ids=html.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div[1]/a/@title')

print(ids)

'''for id in ids:

book_name = id.xpath('td/div/a/@title')

print(book_name)

'''#//*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div[1]/a

xpath簡易操作(使用chrome外掛程式)

在爬蟲中,xpath用於提取資訊,但是xpath語法上手難度較高。本文將力求讓讀者掌握一種較為簡單的xpath使用方法。第二條的xpath from lxml import etree import requests r requests.get r.encoding utf 8 text r.te...

fiddler抓不到chrome瀏覽器的請求

今天遇到乙個非常尷尬的問題,介面在某種情況下會報錯,此時前端會展示nan之類的東西,由於復現不了,介面現在一直不報 錯了,所以就讓前端做了個友好提示,當介面報錯時,給個提示 請稍後重試 我要測試前端的這個提示,就需要模擬介面返回錯誤的情況,準備用fiddle抓包後,篡改介面返回內容的成功為失敗,將返...

Chrome控制台的妙用之使用XPATH

谷歌瀏覽器,對於作為程式設計師的我們來說可以是居家必備了,應該用的相當的熟悉了,我們用的最多的應該是network選項吧,一般用來分析網頁載入的請求資訊,比如post引數之類的,這些基本的功能基本上夠用了,今天我說的不是network模組,而是console命令模組的使用,關於console命令的使...