scrapy 簡介頁面和詳情頁面

2022-05-17 05:46:40 字數 979 閱讀 9882

如何對提取的url進行限定?

往上找id和class屬性值,進行多次層級選擇,進行內容限定

main_urls = response.css() # 獲取主頁面url單獨在paser函式中

for chird_url in main_urls: # 從主頁面中獲取單個chird_url

yield request(url=child_url,callback=self.child_handle)

# self.child_handle 為具體頁面進行提取值,沒有括號,呼叫twisted框架

next_url = response.css()

yield request(url=next_url,callback=self.parse)

如何實現當前頁面href的值為不完全網域名稱,獲得完整網域名稱?

from urllib import parse

url = parse.urljoin(response.url, response.urll) # reponse.url獲取當前訪問的url

如何把主頁面獲取的值傳給子頁面的解析函式?

yield request(url=parse.urljoin(response.url, child_url), meta=, callback=self.child_page)

通過meta進行傳值,字典形式

在子解析函式,通過

response.meta.get('img_url', '')

取得傳來的值

淘淘商城 實現商品詳情頁面展示

我相信大家通過上文的學習已經搭建好了商品詳情頁面展示工程,本文我將帶領大家一起實現商品詳情頁面展示。首先我們來看一下商品詳情頁面 可以看到商品一般屬性在tbitem實體類中都是存在的,只是需要特殊處理,因為tbitem實體類中的字段儲存的是以 分隔的位址的字串,因此要將字串轉換成陣列才行,而tbit...

微信小程式物流詳情頁面

xx速遞 運單號 官方 xx 10 30 收運輸中 上海市 快件已從上海航空部發出,準備發往深圳轉運中心 page topexpress topexpress left topexpress right topexpress right middle topexpress right bottom ...

商品詳情頁面展示 淘淘商城(二十二)

呼叫服務展示商品資訊 service層 controller層 執行工程 商品描述 商品基本資訊 商品的key redis item key item 商品基礎資訊的key item base key base 商品描述的key item desc key desc 商品引數的key item pa...