python 某美電商平台爬蟲

2021-10-07 17:49:57 字數 3541 閱讀 5537

def

run(q,searchtype,page)

: headermap = guomeiheader.guomei(

) url =

''\%

(q,searchtype,page)

guomeijson = mayi3.daili(url, headermap.get(

"headers"),

'utf-8'

, headermap.get(

"mayi_proxy"))

.json(

) products=guomeijson[

"content"][

"prodinfo"][

"products"

] totalpage = guomeijson[

"content"][

"pagebar"][

"totalpage"

] totalcount = guomeijson[

"content"][

"pagebar"][

"totalcount"

] list =

j =0for i in

range(0

,len

(products)):

alt = products[i]

["alt"

]#標題

try:

shopid = products[i]

["shopid"

]#店鋪id

except

: shopid =

""try

: cityname = products[i]

["cityname"

]# 發貨地

except

: cityname =

""try

: murl = products[i]

["murl"

]#店鋪首頁

except

: murl =

"" promodesc = products[i]

["promodesc"

]#紅字提示

try:

skuid = products[i]

["skuid"

]#skuid

except

: skuid =

"" pid = products[i]

["pid"

]# 商品id

try:

sname = products[i]

["sname"

]#店鋪名字

except

: sname =

""try

: simg = products[i]

["simg"

]#主圖

except

: simg =

"" itmeurl =

""+str

(pid)

+'-'

+str

(skuid)

+'.html'

# 商品連線

datemap =

map=

return

map

#國美商品詳情查詢

defdataitem

(url)

:#獲取國美店鋪鏈結然後提取出來他的pid和skuid

urldata = url_data.guomeilianjieurl(url)

url =

'' \

%(urldata[0]

, urldata[1]

) headermap = guomeiheader.dataitem(

) guomeiitemjson = mayi3.daili(url, headermap.get(

"headers"),

'utf-8'

, headermap.get(

"mayi_proxy"))

.json(

)try

: groupprops = guomeiitemjson[

"groupprops"

]except

: groupprops =

""try

: category = guomeiitemjson[

"category"

]except

: category =

""try

: shop_id = guomeiitemjson[

"shop_id"][

0]except

: shop_id =

""try

: view_price = guomeiitemjson[

"view_price"

]except

: view_price =

""try

: pic_url = guomeiitemjson[

"pic_url"][

0]except

: pic_url =

""try

: props = guomeiitemjson[

"props"][

0]except

: props =

""try

: title = guomeiitemjson[

"title"

]except

: title =

""try

: shoplink = url_data.urlheaderyanzheng(guomeiitemjson[

"shoplink"][

0])except

: shoplink =

""try

: itemid = guomeiitemjson[

"itemid"][

0]except

: itemid =

""try

: shopinfo = guomeiitemjson[

"shopinfo"][

0]except

: shopinfo =

""map

=return

map

非洲電商平台Jumia向美SEC提交IPO招股書

新浪科技訊 北京時間 3 月 13 日凌晨訊息,非洲電商平台jumia technologies 以下簡稱 jumia 周二向美國 交易委員會 sec 提交了ipo 首次公開招股 申請書,尋求在紐約 交易所掛牌上市,為 jmia jumia在招股書中稱,該公司是領先的泛非洲電商平台,由市場平台 物w...

Echarts Vue電商控制平台

專案位址 如何將專案執行起來?主要有六個圖表組成,通過使用vue框架對前端進行合理封裝,對頁面進行元件化展示。1 前端位址 2 後端位址 node v檢視node的版本,如果電腦中沒有node環境,可以檢視該部落格 node.js安裝教程,進行node環境的搭建。2 開啟控制命令列,進入到後端資料夾...

智慧型電商搭建平台 新商雲電商系統

隨著網際網路技術的不斷發展和網速的不斷提高,電子商務的步伐不會放緩。而電子商務想要實現持續性發展,不僅僅要依靠個人消費水平提公升帶來的銷售額增長,還要有成熟的線上購物模式,不斷革新的交易模式,智慧型化的操作平台以及社交 內容電商和其他渠道的整合。新商雲電商平台在5g網際網路時代,結合大資料分析技術,...