電影芳華豆瓣評論爬取

2021-08-30 06:40:56 字數 1502 閱讀 5798

「沒有被善待的人,最容易識別善良,也最珍惜善良。」 適合帶長輩們看,或許多少年後,就沒人再拍這樣的電影了…後面半小時淚彈太足,我們在最好的年代虛度光陰,他們在最壞的年代洗盡鉛華。

這條短評跟影片無關

舉報

import requests

from bs4 import beautifulsoup

import re

import time

#初始化字典

result_dict = dict()

df_col =['title','comment','star','rate','time','vote']

for ele in df_col:

result_dict[ele]=

#一共只能爬24頁

for i in range(0,500,20):

url2 = ''+str(i)+'&limit=20&sort=new_score&status=p'

head2=

session = requests.session()

login_page2 = session.get(url2,headers=head2)

print('status:',login_page2.status_code)

page2 = login_page2.text

soup2 = beautifulsoup(page2, "html.parser")

#解析暱稱

title = soup2.findall('a', attrs=)

for i in title:

if i.get('title')!=none:

comment = soup2.findall('span', attrs=)

for i in comment:

#解析得分 評價

comment_info = soup2.findall('span', attrs=)

for i in comment_info:

if i.select('span')[1].get('class')[0] =='comment-time':

else:

time = soup2.findall('span', attrs=)

for i in time:

#解析有用投票

vote = soup2.findall('span', attrs=)

for i in vote:

#字典轉換成dataframe

豆瓣熱門電影爬取

import requests import json import csv defgetonepagedata page start url headers params response requests.get start url,headers headers,params params i...

爬取豆瓣網電影資訊

coding utf 8 import urllib2 import bs4 from bs4 import beautifulsoup 爬取豆瓣網電影簡介,包括電影名,導演,評分以及介紹等 class dbtop def init self self.usr agent mozilla 5.0 w...

爬蟲 豆瓣電影爬取案例

直接上 僅供參考。目標爬取資料是某地區的 正在上映 部分的資料,如下圖 完整 如下 usr bin python coding utf 8 from lxml import etree import requests 目標 爬取豆瓣深圳地區的 正在上映 部分的資料 注意點 1 如果網頁採用的編碼方式...