貓眼電影榜單**:
目標資料描述:(1)排名 (2)電影名稱 (3)主演 (4)上映時間 (5)評分
#獲取url資訊,輸出url內容
def gethtmltext
(url)
:try
: headers =
r=requests.
get(url,headers=headers)
r.raise_for_status()
return r.text
except:
return
" error"
#將頁面放到ulist列表中,輸出
def fillunivlist
(ulist,html)
: f_ = re.
compile
('.*?board-index.*?>(\d+).*?data-src="(.*?)".*?name">+
'.*?>(.*?).*?star">(.*?)
.*?releasetime">(.*?)'+
'.*?integer">(.*?).*?fraction">(.*?).*?'
,re.s)
ulist=re.
findall
(f_,html)
for i in ulist:
(i)def main()
: uinfo=
for i in
range(11
): # 多頁爬取排名
#在**中加入引數
urls=
遍歷**
for url in urls:
html =
gethtmltext
(url)
fillunivlist
(uinfo, html)
main
()執行的時候可能會觸發**的反爬蟲機制,比如驗證(我就遇到了,慘兮兮,除錯半天)解決方法:複製**用瀏覽器開啟,手動驗證。噠噠噠,不可以的話,那就好好研究研究嘍
Python爬取貓眼電影
不多說,直接上 import requests import re import random import pymysql import time 連線資料庫 db pymysql.connect host localhost port 3306,user root passwd a db pyt...
爬取貓眼電影
有乙份工作需要我列出兩個電影院的每天電影排期資訊,我不想每次都要去貓眼上覆制貼上。所以做了個爬蟲 功能 能夠知道每天的電影排期資訊 使用限制 只能在當天使用,不能在前一晚上使用,後面我會再考慮修改 coding utf 8 import requests import re from bs4 imp...
python爬蟲 爬取貓眼電影資料
定義乙個函式獲取貓眼電影的資料 import requests def main url url html requests.get url text print html if name main main 利用正則匹配,獲得我們想要的資訊 dd i class board index board...