python爬美團美食商家

2021-08-17 16:03:12 字數 1925 閱讀 8490

importrequests

importrandom,time

importre

url =''url1 ='meishi/api/poi/getpoilist?uuid=3a2a1b587cff4fb09ae9.1521202327.1.0.0&platform=1&partner=126&originurl=meishi/pn%s/&risklevel=1&optimuscode=1&cityname=懷化&cateid=0&areaid=0&sort=&dinnercountattrid=&page=%s&userid=0'header =

header1 =

#獲取二級選單的分類

defget_start_link(url):

html = requests.get(url).text

returnres

#獲取當地美食的選單

defget_food_link(url):

forninrange(1,18):

time.sleep(random.randint(1,3))

temp = url % (n,n)

html = requests.get(temp, headers=header1)

foriinrange(len(html.json()['data']['poiinfos'])):

withopen(r'美食.txt','a', encoding='utf-8')asf:

restaurant_name = html.json()['data']['poiinfos'][i]['title']

restaurant_address = html.json()['data']['poiinfos'][i]['address']

f.write(str(restaurant_name)+'\n'+str(restaurant_address)+'\n'+'\n')

passif__name__ =='__main__':

start_url_list = get_start_link(url)

get_food_link(url1)

time模組主要用來避免被封,停頓1~3秒
header 和 header1 分別是**中兩個url的請求頭資訊,這樣才能被認為是用瀏覽器訪問的,也是一種破解反爬的手段

Python爬蟲 抓取美食板塊商家資料

主要思路 目的 根據輸入的城市名,爬取該城市美團美食板塊所有商家的資料。資料報括 並將這些資料存入excel中。最後嘗試對爬取到的資料做乙個簡單的分析。克服反爬蟲 每頁使用不同的cookie值。具體原理 詳細的實現過程見源 開發工具 python版本 3.5.4 requests模組 win uni...

python3 x爬取美團資訊

在之前的文章中,筆者有提到,我們要在實踐中去學習python,筆者有天就想著要不要爬點東西呢,躍躍欲試的節奏啊,想來想去,想到美團了,那麼首先筆 者想給自己確定乙個目標,就是我要爬什麼樣的資料,我要爬美團的哪些東西。筆者首先確定了筆者想要爬去的界 面,就是美團網在北京的 首頁,獲取首頁的 專案的介紹...

女子外賣吃出整隻蟾蜍 商家拒絕退款 美團道歉

昨天上午,有發微博稱,自己吃程式設計客棧外賣www.cppcns.com時,吃到一半,突然發現外賣裡竟然有乙隻黑色的不明生物,當時就反胃吐了。她懷疑是不是cbakn蟾蜍,會不會中毒。經微博大v 博物雜誌 確認,的確是蟾蜍。眼睛後頭有耳後腺,是蟾蜍,不是牛蛙 如果有不適還是去查查吧,我先嗞兒哇為敬。據...