10月大火的中國機長相信大家都看過了吧~悄悄的說，我還有二刷?
超級超級超級超級喜歡袁泉姐姐，溫柔又堅定，真誠又勇敢！
import requests
from bs4 import beautifulsoup
import time
import pandas as pd
import os
def get_data(url):
r = requests.get(url,headers=headers,timeout=30)
r.raise_for_status()###################檢視是否正常，正常則返回200，如有異常則返回404等。
r.encoding = 'utf-8'
return r.text
#local_data=r'f:'
local_main2=r'f:\1\test.csv'#設定路徑
#提前建立csv表
if not os.path.exists(local_main2):
data.to_csv(local_main2,index = none,encoding="utf_8_sig")
#base_url=''
for page in range(0,201,20):
base_url=''+str(page)+'&limit=20&sort=new_score&status=p'
print(base_url)
data = get_data(base_url)
soup = beautifulsoup(data,'lxml')
#獲取星級
star = soup.find_all('span',attrs=)
stars=
for i in range(len(star)):
a = star[i].find_all('span')[1].get('class')[0][-2:-1]
#print(stars)
comment = soup.find_all('span',attrs=)
comments=
for i in range(len(comment)):
b = comment[i].text.replace('','')
#print(comments)
#獲取點有用數
good = soup.find_all('span',attrs=)
goods=
for i in range(len(good)):
c = good[i].text.replace('','')
#print(goods)
#print(data)
data_1.to_csv(local_main2,index = none, mode = 'a', header = none, sep = ',', encoding = "utf_8_sig")
time.sleep(2)
python爬取豆瓣影評
看的別人的 爬取某部影片的影評 沒有模擬登入只能爬6頁 encoding utf 8 import requests from bs4 import beautifulsoup import re import random import io import sys import time 使用se...
nodejs爬取豆瓣影評
爬取豆瓣心靈奇旅影評，包括使用者主頁頭像 let request require request let fs require fs const path require path var startnum 0 起始爬取位置 傳送請求 function reqdata url else 請求處理 a...
python爬蟲實戰 爬取豆瓣影評資料
爬取豆瓣影評資料步驟 1 獲取網頁請求 2 解析獲取的網頁 3 提速資料 4 儲存檔案 1 匯入需要的庫 import urllib.request from bs4 import beautifulsoup 隨機數的庫 import random 時間庫 import time 庫 import ...