spiders框架 post 和 頁面的二次跳轉

2021-08-14 01:31:30 字數 1821 閱讀 7382

# -*- coding:utf-8 -*-

import scrapy

from bs4 import beautifulsoup

from p1.items import p1item

import json

import lxml

class xiaohuarspider(scrapy.spider):

name = "keche"

def

start_requests(self):

#第乙個url

請求,定義函式

start_requests

# if post

請求yield scrapy.formrequest(url=url, headers=headers

,callback=

預設的是

parse函式)

#if get

請求yield scrapy.request(url=a7, headers=headers,callback=self.

響應頁要傳的函式名

for i in

range(1

,2):

url = '****'+str(i)

yield scrapy.formrequest(url=url,

headers=headers)

def

parse(self

, response): #

對頁面一進行解析

從第乙個頁面取得的鏈結

yield scrapy.request(url=a7,

headers=headers},

callback=self.two_parse)#

對這個鏈結進行

get請求

def

two_parse(self

,response):#

對頁面二進行解析

soup=beautifulsoup(response.text,

'lxml')

alist=soup.find('div'

,class_='fd-fix')

a1=alist.find('h2').text

a2=alist.find('h5').text

a3=alist.find('div'

,class_='fd-alt-all').text

a4=''

a5=''

a6=''

item=p1item(a1=a1,

a2=a2,

a3=a3,

a4=a4,

a5=a5,

a6=a6)

yield item #

返回要取得的值

Windows Phone開發(4) 框架和頁

3 主框架下面是頁,主框架中可以包含1個或n多個頁面。4 頁面這個概念很好理解,就像我們平時看到的乙個窗體,只不過在silverlight裡面叫頁,所以,我們也可以聯想起web頁面。在android裡面叫乙個activity,其實所指的東東是一樣的,只是叫法不同罷了。下圖所示為乙個頁。好的,下面來看...

js重新整理框架頁

在我們設計頁面的時候,常常會使用框架頁,但是常常會遇到這種問題,在顯示主頁面重新整理的情況下,框架的選單頁面沒有重新整理。這種問題很是令人苦惱,這裡介紹幾種情況。1 重新整理框架頁 在主頁面我們使用框架集,舉個簡單例子,主頁面左邊是個框架left,右邊也是個框架right.具體語法 語句1.語句2....

搭建頁遊框架

搭建開發框架是開發的開始。使用lufylegend引擎開發頁游有乙個很大的優點,就是搭建框架比較簡單。第一步 建立乙個專案資料夾 例如card 第二步 在card下面建立乙個html檔案 例如index.html 這個是通過瀏覽器進入遊戲的入口。html檔案內要設定一下編碼方式,使用到的js檔案的路...