爬取校園新聞首頁的新聞

1. 用requests庫和beautifulsoup庫，爬取校園新聞首頁新聞的標題、鏈結、正文。

import

requests
from bs4 import
beautifulsoup
url='
'res=requests.get(url)
res.encoding='
utf-8
'soup = beautifulsoup(res.text,'
html.parser')
for news in soup.select('li'
):    
if len(news.select('
.news-list-title
'))>0:
t=news.select('
.news-list-title
')[0].text
dt=news.select('
.news-list-info
')[0].contents[0].text
a=news.select('
a')[0].attrs['
href']
print(dt,t,a)

2. 分析字串，獲取每篇新聞的發布時間，作者，**，攝影等資訊。

for news in soup.select('li'

):    
if len(news.select('
.news-list-title
'))>0:
title = news.select('
.news-list-title
')[0].text
a = news.select('
a')[0].attrs['
href']
resd =requests.get(a)
resd.encoding = '
utf-8
'soupd = beautifulsoup(resd.text, '
html.parser')
d = soupd.select('
#content
')[0].text
info = soupd.select('
.show.info
')[0].text
print
(info)
dt = info.lstrip('
')[:19]#
發布時間
dt2 = datetime.strptime(dt, '
%y-%m-%d %h:%m:%s')
print
(dt2)
i = info.find('')
if i>0:
s = info[info.find('
'):].split()[0].lstrip('
')#**
print
(s)        a = info.find('')
if a >0:
l = info[info.find('
'):].split()[0].replace('
')#作者
print
(l)        y = info.find('
攝影：'
)        
if y >0:
u = info[info.find('
攝影：'):].split()[0].replace('
攝影：')#
攝影print(u)

3. 將其中的發布時間由str轉換成datetime型別。

from datetime import

datetime
str = '
2018-03-30 17:10:12 
'dt=datetime.strptime('
str,%y-%a-%d %h:%m:%s')
now =datetime.now()
type(now)
now.strptime(
'%y-%a-%d %h:%m:%s
')

爬取校園新聞首頁的新聞

1.用requests庫和beautifulsoup庫，爬取校園新聞首頁新聞的標題 鏈結 正文 show info。2.分析info字串，獲取每篇新聞的發布時間，作者，攝影等資訊。import requests newsurl res requests.get newsurl 返回response物...

爬取校園新聞首頁的新聞

1.用requests庫和beautifulsoup庫，爬取校園新聞首頁新聞的標題 鏈結 正文 show info。import requests from bs4 import beautifulsoup newsurl res requests.get newsurl res.encoding ...

爬取校園新聞首頁的新聞

1.用requests庫和beautifulsoup庫，爬取校園新聞首頁新聞的標題 鏈結 正文 show info。2.分析info字串，獲取每篇新聞的發布時間，作者，攝影等資訊。import requests from bs4 import beautifulsoup from datetime ...