importrequestsimportrandom,time
importre
url =''url1 ='meishi/api/poi/getpoilist?uuid=3a2a1b587cff4fb09ae9.1521202327.1.0.0&platform=1&partner=126&originurl=meishi/pn%s/&risklevel=1&optimuscode=1&cityname=懷化&cateid=0&areaid=0&sort=&dinnercountattrid=&page=%s&userid=0'header =
header1 =
#獲取二級選單的分類
defget_start_link(url):
html = requests.get(url).text
returnres
#獲取當地美食的選單
defget_food_link(url):
forninrange(1,18):
time.sleep(random.randint(1,3))
temp = url % (n,n)
html = requests.get(temp, headers=header1)
foriinrange(len(html.json()['data']['poiinfos'])):
withopen(r'美食.txt','a', encoding='utf-8')asf:
restaurant_name = html.json()['data']['poiinfos'][i]['title']
restaurant_address = html.json()['data']['poiinfos'][i]['address']
f.write(str(restaurant_name)+'\n'+str(restaurant_address)+'\n'+'\n')
passif__name__ =='__main__':
start_url_list = get_start_link(url)
get_food_link(url1)
time模組主要用來避免被封,停頓1~3秒header 和 header1 分別是**中兩個url的請求頭資訊,這樣才能被認為是用瀏覽器訪問的,也是一種破解反爬的手段
Python爬蟲 抓取美食板塊商家資料
主要思路 目的 根據輸入的城市名,爬取該城市美團美食板塊所有商家的資料。資料報括 並將這些資料存入excel中。最後嘗試對爬取到的資料做乙個簡單的分析。克服反爬蟲 每頁使用不同的cookie值。具體原理 詳細的實現過程見源 開發工具 python版本 3.5.4 requests模組 win uni...
python3 x爬取美團資訊
在之前的文章中,筆者有提到,我們要在實踐中去學習python,筆者有天就想著要不要爬點東西呢,躍躍欲試的節奏啊,想來想去,想到美團了,那麼首先筆 者想給自己確定乙個目標,就是我要爬什麼樣的資料,我要爬美團的哪些東西。筆者首先確定了筆者想要爬去的界 面,就是美團網在北京的 首頁,獲取首頁的 專案的介紹...
女子外賣吃出整隻蟾蜍 商家拒絕退款 美團道歉
昨天上午,有發微博稱,自己吃程式設計客棧外賣www.cppcns.com時,吃到一半,突然發現外賣裡竟然有乙隻黑色的不明生物,當時就反胃吐了。她懷疑是不是cbakn蟾蜍,會不會中毒。經微博大v 博物雜誌 確認,的確是蟾蜍。眼睛後頭有耳後腺,是蟾蜍,不是牛蛙 如果有不適還是去查查吧,我先嗞兒哇為敬。據...